0:08.000–0:10.113
zh哈喽大家好，我是 Lewis。
0:10.113–0:11.201
zh大家好，我是 Will。
0:11.201–0:13.750
zh这期我们其实想接着上次，我们留
0:13.750–0:16.294
zh了一个话题，是说讲 agent harness。
0:16.294–0:18.756
zh然后 agent harness 最近也是非常的火，
0:18.756–0:21.906
zh感觉这一波是 Deepseek 带起来的。
0:21.906–0:24.206
zh他把自己的这套 core 的 harness 给
0:24.206–0:26.295
zhopen source 了，然后一下就点爆了
0:26.295–0:29.794
zh这个 community，大家就开始试它。
0:29.794–0:32.080
zh这个东西不如我们先给大家来说一说，
0:32.080–0:35.040
zhagent harness 到底是什么。我的理解的话呢，
0:35.040–0:37.775
zh这个 harness 还是非常重要的一个环节，
0:37.775–0:40.885
zh就特别是在 agent 这个年代。咱先说它
0:40.885–0:44.309
zh功能性上来说的话，它提到的一个最大的、
0:44.309–0:48.259
zh提供一个最大的一个价值在于，以前的话呢，
0:48.259–0:52.275
zh大家认为这个 agent 都是这种对话式的，
0:52.275–0:55.487
zh他做任务都是一件事一件事，就就说我要
0:55.487–0:59.372
zh生成一个 doc、生成一个 image。但是的话，
0:59.372–1:03.488
zh就是这个 harness 就变、就是让这个 agent 能
1:03.488–1:06.453
zhrun 这种 long horizon task，就是几个小时
1:06.453–1:08.648
zh的这种 task。然后整个过程当中，它需要
1:08.648–1:12.155
zh一个一整套的 evaluation validation
1:12.155–1:15.045
zh然后 self correction，这一套的机制能
1:15.045–1:18.125
zh保证它能做一个更长的 task。我的从功能
1:18.125–1:20.766
zh上理解是这样理解的，我不知道你怎么看。
1:20.766–1:22.903
zh从产品来说吧，我觉得可能就是说，
1:22.903–1:25.817
zh大家刚开始做这个大语言模型，可能更
1:25.817–1:28.657
zh多的就是看这个叫什么，这个光标对吧，
1:28.657–1:31.461
zh就是我打进去一个一个问题，然后你模型
1:31.461–1:33.972
zh给我一个答案，这可能是第一个雏形。
1:33.972–1:35.450
zh那个时候就是比较热门的就是叫
1:35.450–1:38.428
zhprompt engineering 对吧，大家想怎么把
1:38.428–1:41.568
zh这个 prompt 写好。然后当时其实我们内部
1:41.568–1:45.424
zh还在说，每一个模型它都有自己的个性，
1:45.424–1:48.409
zh所以你用你自己的一套 prompt 去跟
1:48.409–1:52.185
zhOpenAI 说话，再去跟 Gemini 说话，他的理解
1:52.185–1:54.673
zh不太一样。所以当时模型能力也是受限，
1:54.673–1:56.748
zh所以我们说 prompt engineering。对，后来
1:56.748–1:58.552
zh就变成了叫 context engineering 对吧。
1:58.552–2:00.971
zhcontext engineering 就是说你怎么把
2:00.971–2:03.598
zh合适的东西放在 prompt 里面，然后让
2:03.598–2:06.421
zh模型可以更有效。这个时候我觉得好像
2:06.421–2:09.414
zh大家还都是在做怎么回答好一个问题。
2:09.414–2:12.233
zh现在我觉得就是说，我们一直得强调
2:12.233–2:15.229
zhROI 对吧，就是说企业要买模型然后
2:15.229–2:17.802
zh部署这个东西，他要的是能够落地，
2:17.802–2:20.758
zh他能让模型真正的去做一些任务。
2:20.758–2:24.802
zh一旦做任务的话，就不只是简单是拿一个
2:24.802–2:27.890
zh这个叫什么答案回来了，那他就可以要、
2:27.890–2:31.904
zh要去执行代码对吧，要去 call API，然后要
2:31.904–2:35.565
zh保证这些东西能够安全然后合规对吧。
2:35.565–2:38.162
zh这个 Harness 其实就是衍生出来的这
2:38.162–2:41.419
zh一套在模型外面的系统，能够更好的、就是
2:41.419–2:44.253
zh让这种像你刚刚说了这个可以跑很多
2:44.253–2:47.223
zh天的这种这种任务对吧，能够真正落地。
2:47.223–2:50.353
zh我觉得就是说，可能他就是帮人们从一个
2:50.353–2:54.984
zh简单的一个模型扩展到了一个一个系统。
2:55.609–2:58.322
zh所以我是一个自然的 agent 发展的过来
2:58.322–3:00.291
zh一个，在我眼里的话，不觉得它是一个
3:00.291–3:03.110
zh新生物种。我觉得它就是一个 agent 在
3:03.110–3:06.380
zh自我发展的过程当中自然而然产生
3:06.380–3:10.809
zh的一个更系统化、更复杂、更大规模、
3:10.809–3:14.598
zh更 engineering 的一个系统组件吧。
3:14.598–3:18.047
zh对，这就是一个就像你说的，在每一个发展的
3:18.047–3:20.430
zh阶段，好像大家意识到一个新的问题对吧。
3:20.430–3:22.856
zh遇到一个新的问题，我们再给它起一个名字，
3:22.856–3:24.774
zh把它当成一个问题然后来解决对吧。
3:24.774–3:27.826
zh可能在当前那个阶段，现在大家要讲求它
3:27.826–3:31.227
zh可以帮你去、就是自动化这些 task 对吧，
3:31.227–3:34.677
zh那 harness 就产生了。那我们不如来说
3:34.677–3:39.282
zh一说 Deepseek 它做的 harness 系统。
3:39.282–3:42.717
zhDeepseek 好像它 Open Source 大家都非常
3:42.717–3:45.434
zh喜欢的原因，是它把它变成了模组化，
3:45.434–3:49.762
zh好像每一个都是一个 plugin、都是一个
3:49.762–3:52.872
zh插件，然后大家都可以用来不同的
3:52.872–3:56.466
zh组件来更换。这个的话是不是对企业、
3:56.466–3:59.622
zh对很多开发的时候就有很大的帮助？
3:59.622–4:04.078
zh对，从本质上的话，就把 harness 这个
4:04.078–4:07.389
zh事情变得更容易 engineering 了，
4:07.389–4:09.869
zh就变得更容易去拆组，然后根据自己
4:09.869–4:13.822
zh的需求然后调整 harness 的 behavior。
4:13.822–4:16.222
zh像以前的话大家都是在 Agent Loop 里面
4:16.222–4:19.591
zh加一些 tool、加一些 command、加一些
4:19.591–4:23.950
zhpermission check 这些事情，但是它
4:23.950–4:28.118
zh没有更系统化的去把整个 Agent Loop
4:28.118–4:32.496
zh里面不同的组件可以任意地搭配起来。
4:33.158–4:36.575
zh其实我们之前好像讲 memory 那期也涉及
4:36.575–4:39.556
zh到了这些方面的话题。我们通常来说这个
4:39.556–4:43.765
zhAgent Loop 是比较简单的，就说你有没有
4:43.765–4:47.599
zh达到最终的目标、也完成这个任务，没完成
4:47.599–4:50.798
zh你就自动去、自己去发现为什么没有完成。
4:50.798–4:53.427
zh在这个过程中的话，就需要这种不同
4:53.427–4:56.337
zh的组件然后去支持它完成这件事情。
4:56.337–4:59.597
zh所以可能这种模块化的话，就让这种
4:59.597–5:04.040
zh工程学来说更容易，大家只需要用同样
5:04.040–5:07.683
zh的这么一个模板，对，把适应、对应的这些
5:07.683–5:10.446
zh东西拿进来，它很容易就可以工作了。
5:10.446–5:15.627
zh对，其实就是把 agent 的一些 best practice
5:15.627–5:18.186
zh以一种可拼装的形式组在一起。
5:18.638–5:21.697
zh你觉得这个 Deepseek 为什么会 open source
5:21.697–5:23.482
zh这个？因为你像我们之前内部的话，曾经
5:23.482–5:26.191
zh还有一段时间看这个 Claude Code 对吧，
5:26.191–5:28.147
zh他做了这个 managed agent，然后大家
5:28.147–5:30.097
zh都说，哇，他这个 harness 做的真不错。
5:30.097–5:32.610
zh他就会觉得这个 harness 感觉是
5:32.610–5:34.838
zh又是一个下一个风口对吧，所以要
5:34.838–5:37.720
zh赶快去做这件事。但是这个 Deepseek
5:37.720–5:40.258
zh直接就把他自己的这一套给开源了。
5:40.814–5:43.847
zh我当时看到开源的时候，我主要是
5:43.847–5:46.739
zh当时的思考逻辑就是说，他把它、因为
5:46.739–5:50.620
zhDeepseek 他们是开源模型对吧，他是模型。
5:50.620–5:53.240
zh一般的人都不会自己在、不会用这个
5:53.240–5:55.876
zh一般的人都不会自己在、不会用这个 Deepseek 自己的提供 API 去用这些大模型，或者用 Deepseek 的 service 去用这些大模型，他可能在任意地方去 serve。
5:55.876–5:58.222
zh或者用 Deepseek 的 service 去用这些
5:58.222–5:59.955
zh大模型，他可能在任意地方去 serve。
5:59.955–6:01.994
zh他一旦自己 serve 这些 model 的时候，
6:01.994–6:03.519
zh他就会面临一个问题：那我用什么样的
6:03.519–6:06.118
zhharness environment 去做这件事情？
6:06.118–6:09.621
zh你也可以用 OpenAI 的，你也可以用 Claude，
6:09.621–6:12.420
zh但是可能最好的就不如用一个它自、这个
6:12.420–6:15.677
zhDeepseek 调制好的这样的一个 harness。
6:15.677–6:17.894
zh这样的话，大家对于这个 Deepseek 这个
6:17.894–6:20.089
zhmodel，特别是那些小一点 weights
6:20.089–6:22.168
zh的 model、小一点的 model，可能就是
6:22.168–6:24.296
zh使用体验会好很多。所以整体来说，
6:24.296–6:26.614
zh可能就是这个能 help 他们的 adoption。
6:26.614–6:29.313
zh对，我们刚才提出说到一点我还觉得挺、
6:29.313–6:32.320
zh就突然我想到了哈，就是用 Deepseek
6:32.320–6:34.377
zh的很多企业，可能他真的不会去、
6:34.377–6:37.978
zh就是去 call 这个 Deepseek 的 API 对吧。
6:37.978–6:39.987
zh他可能觉得不、这个对吧，不太信任。
6:39.987–6:43.288
zh反而他可能就是把这个 open weights model
6:43.288–6:45.745
zh用在自己的数据中心，或者是其他的云
6:45.745–6:48.665
zh对吧。那这个时候他就非常的独立了，
6:48.665–6:51.178
zh那这个时候他就非常的独立了，那他就等于这个、这个系统没有。
6:51.178–6:53.230
zh那对于 Deepseek 来说，那可能我把这
6:53.230–6:56.551
zh一部分也开源了，也是他唯一的途径。
6:56.568–7:01.334
zh要不然他也很难说有一套像 Claude
7:01.334–7:03.746
zh一样，他做一个 managed service，
7:03.746–7:05.036
zh大家可能也很难信任他，然后去
7:05.036–7:07.104
zh把这个服务 run 在他这个上面。
7:07.104–7:11.341
zh其实 Deepseek 的 CEO 梁文锋之前在一次
7:11.341–7:13.693
zh的这个泄露的内部会议上面，其实提到
7:13.693–7:16.384
zh过一次，他们说他们就要专注、专注于做
7:16.384–7:20.711
zhgeneric 大模型，其实没有提到这个 harness。
7:20.711–7:22.887
zh然后我觉得他们现在把这个放出来，
7:22.887–7:26.340
zh不知道是他们以后就要专注这个方向、
7:26.340–7:28.508
zh然后持续放出来这个东西，还是说我这
7:28.508–7:30.845
zh东西做了一个版本把它 open source
7:30.845–7:33.324
zh出去，不做我们一个拳头产品做研发。
7:33.404–7:36.498
zh你这个角度很有趣，其实也可以是我们下
7:36.498–7:39.417
zh一个话题：这东西为什么就突然火了对吧？
7:39.417–7:42.025
zh是不是因为这些像你说 Deepseek 这些
7:42.025–7:44.802
zh大模型公司突然发现，好像模型卷的东西
7:44.802–7:48.162
zh不多了，然后这个外边有好多新的一个领域
7:48.162–7:51.904
zh可以去卷，然后所以大家都开始做 harness。
7:53.308–7:56.906
zh其实我觉得在应用环境当中，除了这非常
7:56.906–8:02.498
zhgeneric 的 task，harness 这个东西还是
8:02.498–8:05.976
zh非常复杂的。包括我内部的 API 怎么调用，
8:05.976–8:08.459
zh假如你一个公司内部开发了某一个 API，
8:08.459–8:11.008
zh或者说某一个 validation 那个东西，或者
8:11.008–8:14.865
zh某个 rule，这些大模型其实很难知道的。
8:14.865–8:17.719
zh然后这些 API 可能定义的非常的不直觉，
8:17.719–8:21.908
zh也非常不符合这个 semantic 的定义，就需要
8:21.908–8:25.320
zh去做这个 harness。以前大家做法就是说，
8:25.320–8:27.808
zh要不就写在 prompt 里面我这里面都有什么
8:27.808–8:30.265
zh东西，然后后来做 context engineering，
8:30.265–8:33.604
zh就是我写一些 skills 把这些说清楚。
8:33.604–8:35.596
zh现在更进阶的办法，就是我把这些东西都
8:35.596–8:38.122
zh编制在我的 harness environment 里面，才能
8:38.122–8:41.820
zh让我系统化的开发所有 agent 都比较好用。
8:41.820–8:44.258
zh所以这可能也是我们为什么看到多数的
8:44.258–8:47.753
zhharness 的系统现在还都是在 coding agent
8:47.753–8:50.120
zh上。可能你要是做这种企业的部署，这
8:50.120–8:54.120
zhvertical 这种垂直领域的还是比较难。
8:54.460–8:56.867
zh说到这个头，其实 harness 它对于企业
8:56.867–8:58.791
zh的一部分需求解决挺好的。就是说这种
8:58.791–9:01.867
zhquality 来看，就是刚才说是 coding 嘛。
9:01.867–9:04.600
zh他 coding 大家现在看的主要还是这个
9:04.600–9:06.840
zhquality 怎么样，因为都是 human in the loop，
9:06.840–9:08.874
zh不会太会让这个 coding 完全自动化。
9:08.874–9:11.150
zh你最后还是要看一下，哪怕我不看 code，
9:11.150–9:12.940
zh我也要看一下这个生产的 app 的结果。
9:12.940–9:15.540
zh所以说结果更重要、效率更重要，
9:15.540–9:18.340
zh我结果正确概率越大，觉得越好用。
9:24.414–9:26.981
zh企业它很多这种自动化的要求的话，
9:26.981–9:30.393
zh它希望这东西就是帮我把它做对，
9:30.393–9:33.085
zh那这个就需要很大的 guarantee，或者
9:33.085–9:35.404
zh是 follow 某一个 rule，永远都要 follow
9:35.404–9:38.454
zh这个 rule，那不 follow 的话就是不可以的。
9:38.454–9:40.395
zh那这种情况下，在 harness、这种通常的这
9:40.395–9:43.674
zhharness 的并没有实际的解决这类问题。
9:44.252–9:47.965
zh其实也就是说，harness 并不能够真正的把
9:47.965–9:52.493
zh一个可以重复反复的这种 workflow 变成
9:52.493–9:57.038
zh一种、就是更 deterministic 这种情况对吧。
9:57.038–10:00.554
zh它还是等于做了很多的希望能够让它
10:00.554–10:04.220
zh变成更可靠，但是事实上还是会出现各种
10:04.220–10:06.245
zh问题。所以如果说用咱以前说的这个
10:06.245–10:09.164
zhavailability 是几个 9 嘛是吧，我觉得
10:09.164–10:12.514
zh我觉得现在可能就是一个 9 的状态，90% 做对，但是企业可能需要三个 9、四个 9，但一直都 是这样子，所以还是有很大的距离要做。
10:12.514–10:15.660
zh但是企业可能需要三个 9、四个 9，但一直都
10:15.660–10:18.784
zh是这样子，所以还是有很大的距离要做。
10:19.068–10:21.766
zh对，确实是。因为像我们内部当时在做这个
10:21.766–10:24.981
zhAgent Memory 的 benchmark，我们开源的
10:24.981–10:27.433
zh一个东西叫 State-bench，对，之前有说过。
10:27.433–10:30.345
zh其实我们另外定义了一个 metrics，
10:30.345–10:33.050
zh就是 run 同一个 task run 五遍，看看你
10:33.050–10:35.284
zh是不是都能拿到同样的结果对吧。
10:35.284–10:38.265
zh就是如果你发现这个有起伏，那就说明
10:38.265–10:40.991
zh你这一套 workflow 定义的 harness 就
10:40.991–10:44.744
zh不够，对 enterprise 里面就不够可靠。
10:44.744–10:47.368
zh5 次都做对，其实也不是那么可靠听起来。
10:47.368–10:50.754
zh哈哈。哈哈，对。那这个东西是吧，你要做到多少？
10:50.754–10:54.688
zh这个三个 9，那就得 run 多少次，就几万次可能。
10:55.624–10:58.891
zh感觉整个就算 harness 现在我们想到的
10:58.891–11:01.827
zh这个雏形就做到非常好，也很难去解决这个
11:01.827–11:04.904
zh真正 enterprise 里面的这些部署问题。
11:04.904–11:05.604
zh对。
11:05.604–11:09.866
zh所以我觉得这个 harness 本身的话，
11:09.866–11:12.280
zh那可能是至少跟现在的这种方式，
11:12.280–11:14.454
zh可能不足以解决 enterprise 的问题。
11:14.454–11:16.932
zh那你说下一个东西能解决 enterprise 的
11:16.932–11:19.245
zh问题是不是叫 harness？又会起一个新的
11:19.245–11:22.956
zh名字对吧。可能现在有叫 Control plane。
11:22.956–11:25.196
zhloop engineering 算不算？
11:25.196–11:26.596
zh有 loop engineering。
11:26.596–11:29.407
zh还有 governance 对吧。然后这些
11:29.407–11:31.456
zh东西可能就是下一代东西能
11:31.456–11:33.656
zh帮助企业把这个确实做好。
11:33.996–11:38.144
zh其实我们前一期录的时候我有分享一点。
11:38.144–11:41.085
zh我觉得像 Deepseek 的这种方式，它把所有
11:41.085–11:44.536
zh的东西都变成一个 plugin，然后这个其实
11:44.536–11:47.445
zh是我觉得是相信大模型的一个做法。
11:47.445–11:51.308
zh它甚至连 agent loop 你都可以换掉，
11:51.308–11:54.248
zh当然这是需要人去换。我们当时做的
11:54.248–11:58.499
zhmemory 就是说，大模型可能不能够很
11:58.499–12:02.686
zh稳定的去 call memory，我要做一个
12:02.686–12:05.096
zhknowledge base 的种 retrieval 什么时候，
12:05.096–12:07.763
zh我就 hard code 进去，每次都做，保证一定
12:07.763–12:11.344
zh会有这个 context。这个其实大家就等于
12:11.344–12:14.219
zh在这个 loop 里面做了很多很多工作。
12:14.219–12:17.527
zh现在这么看来的话，就说 Deepseek 的这个
12:17.527–12:20.381
zh角度，它就很明确的是说我们放权了对吧，
12:20.381–12:25.814
zh让大模型、让 intelligence 去 lead the way。
12:25.814–12:29.590
zh这个我觉得还是、我觉得还是怎么说，我
12:29.590–12:31.751
zh觉得从他的角度来，他做这件事非常合理，
12:31.751–12:34.456
zh作为一个 open source、相信一个未来的角度。
12:34.456–12:36.586
zh对。对于 enterprise，可能大家现在
12:36.586–12:38.574
zh还是会说我都 hardcode 起来，
12:38.574–12:40.876
zh这样就更确定性更高一点。
12:41.870–12:44.921
zh对，所以其实你提到这个所有东西，
12:44.921–12:46.882
zh对于我们来说都特别兴奋的。就是说，
12:46.882–12:48.971
zh因为我们在做 self improving agent，
12:48.971–12:51.936
zh就自我迭代嘛，那你要是能系统性的
12:51.936–12:55.806
zh决定你所有东西都是可以自我调整的，
12:55.806–12:59.633
zh那就会有最大的 flexibility。就像基因
12:59.633–13:02.435
zh对吧，你所有的这个链组都是可以改的，
13:02.435–13:05.118
zh那你就是进化就无限的可能对吧。
13:05.118–13:08.531
zh所以就是看到他们这样做的时候觉得，
13:08.531–13:10.943
zh哦，这个还是有人跟我们想的思路挺
13:10.943–13:13.865
zh像的，就认为所有东西都是可以改的。
13:13.865–13:17.154
zh但是现在还没有看到改这个 model 自己的
13:17.154–13:20.674
zharchitecture、自己 weights 的这个事情，
13:20.674–13:22.726
zh可能把这个 fine-tuning 的这东西加进去
13:22.726–13:24.703
zh之后，它的连接 model 自己也可以改自己。
13:24.703–13:28.643
zh对，这个主要就是叫什么时间 compute 对吧？
13:28.743–13:30.950
zh这个可能现在还不是特别 feasible。对，
13:31.158–13:35.096
zh但我相信肯定最后也会有人做。但是事实上，
13:35.303–13:37.603
zh我觉得这也是一个迷思，我们可能扯远了。
13:37.723–13:40.843
zh就是 continuous training 这个话题其实
13:40.843–13:44.830
zh是感觉是老生常谈了，其实当时我们在
13:44.830–13:47.883
zh做 AI 的很多年前就在做这个，但是好像
13:47.883–13:51.369
zh在那个时代也都没有落地。这个就里面
13:51.369–13:55.295
zh感觉还是有很多这个叫什么 bottleneck。
13:55.295–13:56.295
zh对。
13:57.503–14:02.514
zh还是价值不是特别清楚我觉得。因为你像
14:02.514–14:05.127
zh之前是 continuous learning 一般都是做
14:05.127–14:08.341
zhfine tuning，然后 fine tuning 还比较花数据，
14:08.341–14:11.605
zh然后能提高的东西也比较有限，然后还有
14:11.605–14:15.247
zh解决这个、还解决不了以前这个会忘记过去
14:15.247–14:20.082
zh的问题。所以这东西作为一个卖点的话，
14:20.082–14:22.857
zh让用户看到效果可能需要很长的时间。
14:22.857–14:25.569
zh我觉得现在的这个 self improvement
14:25.569–14:27.457
zh像咱上次聊的，还是面临同样的问题：
14:27.457–14:31.161
zh我又怎么样能给这个用户看到价值？他们
14:31.161–14:34.597
zh还是很希望现在我买东西现在开箱即用。
14:35.071–14:37.690
zh确实是。但我觉得像这个 Deepseek 的话，
14:37.690–14:41.157
zh就应该已经帮助很多公司可以做到这个了。
14:41.157–14:44.160
zh因为我其实发布以后试了试，然后看了
14:44.160–14:47.220
zh网上那些大家用的体验，很多人就是说
14:47.220–14:50.398
zh拿来啪一跑，然后换上千问的模型就
14:50.398–14:53.498
zh非常强。我觉得这个东西其实就是让
14:53.498–14:57.311
zh大家更能够离 frontier 就更近一步。
14:58.243–14:59.543
zh对，确实。
14:59.551–15:01.931
zh我们刚才提到了这个 Claude 是有
15:01.931–15:05.864
zhmanaged agent。当时其实我们很担心的
15:05.864–15:09.033
zh一块，就是你如果是大模型公司，你的
15:09.033–15:12.684
zhharness 其实是可以和模型一起去训练的。
15:12.684–15:16.151
zh如果我们是说一些非常通用的这些
15:16.151–15:19.151
zh工具的话，比如说读写一个文件什么，
15:19.151–15:22.237
zh这些大家都可以；但一旦涉及到有一些
15:22.237–15:25.392
zh比如说你私有化的一些工具，如果是
15:25.392–15:31.690
enfrontier lab，Anthropic、Gemini、OpenAI，
15:31.690–15:33.715
zh它是不是就会比其他的这种公司要有
15:33.715–15:36.565
zh一个很大的一个优势？当然 Deepseek
15:36.565–15:38.979
zh我们说的也是它拥有这个模型。
15:38.979–15:42.081
zh那有一些开源的这种做 harness 的话，
15:42.081–15:44.497
zh它不能够跟模型强绑定，这种情况
15:44.497–15:48.065
zh是不是他们的这竞争力就会差很多？
15:48.667–15:52.047
zh这个确实我两边都觉得有可能。
15:52.047–15:54.819
zh一方面就是在大模型的话，他们自己
15:54.819–15:57.647
zhtrain 自己的 harness，但是他们其实
15:57.647–16:00.540
zh想要开发的是更通用的智能对吧。
16:00.540–16:05.522
zh所以就是说，一方面我觉得他应该不会
16:05.522–16:09.918
zh说是我就要 customize 的 model，假如说
16:09.918–16:13.515
zhOpenAI 就是给我 Codex 去 train 我这个
16:13.515–16:17.072
zhmodel，以至于它在这 harness 做的很好。
16:17.072–16:19.213
zh有可能的可能是说，它能有更早的
16:19.213–16:22.439
zhaccess 这个 model，然后可能根据这个
16:22.439–16:27.239
zh事情把它 harness 做的优化，这个有可能。
16:27.239–16:31.003
zh然后回到创业的话，其实你像 Pi 现在大家，
16:31.003–16:33.095
zh我虽然说我还没有自己用过，但是现在就是
16:33.095–16:36.703
zh反馈特别好，就说他们特别的省 token。省 token。
16:36.703–16:37.943
zh省 token。
16:40.559–16:42.339
zh所以至于说这个模型怎么能跟
16:42.339–16:45.639
zhharness 做好、然后怎么跟 coding agent
16:45.639–16:47.539
zh做的更好的话，我觉得这个也不是说
16:47.539–16:50.001
zh别人就没有这个 technology，在大家
16:50.001–16:52.415
zh都有这个大模型 access 的前提下。
16:52.415–16:55.165
zh因为你像说 Pi 的话，就是我看到他说他很省、
16:55.165–16:58.018
zh省 token 的原因，一个就是说他 system
16:58.018–17:00.959
zh一个就是说他 system prompt 是少于 1000 个 token，就非常小；
17:00.959–17:04.945
zh其次他整个 harness 里面就只有四个 tool，
17:04.945–17:07.855
zh就是读写文件然后改文件，就这些东西。
17:07.855–17:11.248
zh从 Deepseek 的角度说，他就非常广泛。
17:11.248–17:14.881
zh你再看 Claude code 的话，其实我相信他就
17:14.881–17:17.475
zh更多了，因为他还要 manage 自己的 memory。
17:17.475–17:19.581
zh他可能、我不知道 Claude 里面还有一些
17:19.581–17:23.335
zhAPI，他要 set 一个 outcome 这种东西。
17:23.388–17:26.455
zh其实从一定的角度来说，你把这个模型
17:26.455–17:31.045
zh和 harness 绑定去做这件事的，其实
17:31.045–17:34.568
zh你是有飞轮的、飞轮效应的。因为你说
17:34.568–17:38.917
zhcoding Agent 的话，我落地的 Use Case 是这样，
17:38.917–17:42.589
zh我可以试试怎么能够把它弄得更好，然后
17:42.589–17:46.269
zh反而去看看这东西能不能变成通用的。
17:46.269–17:49.589
zh好像就是说直接去做通用，我只是猜想，
17:49.589–17:54.869
zh就是说直接做通用的话感觉太广泛了。
17:55.123–17:59.758
zh对，确实做通用、直接做通用的难度高很多，
17:59.758–18:02.613
zh然后要求也高很多。对，但是如果能把它
18:02.613–18:05.400
zh做通，像 cursor 一样对吧，他最后也能
18:05.400–18:08.086
zh创业自己的 model，然后他反向的去控制
18:08.086–18:10.867
zh这件事情，说不定也是一个创业的机会。
18:10.867–18:13.673
zh那说到创业的话，你觉得在企业这边，
18:13.673–18:16.071
zh比如说我们做 vertical 和做比较
18:16.071–18:19.717
zhgeneralized 的一个 harness 是有区别的吗？
18:19.717–18:22.999
zh因为我马上能想到的就比如说我们刚才
18:22.999–18:25.495
zh说有不同的工具，我们现在看到的这些
18:25.495–18:29.166
zhharness 的工具，好像很难说我想去内部
18:29.166–18:33.037
zh调用一个什么 Google Workspace 的 tool，
18:33.037–18:34.819
zh或者说想去调用一个微软的什么你的
18:34.819–18:37.577
zhidentity 的 tool 对吧。这些东西好像还
18:37.577–18:41.190
zh都是比较 specific，而且我们还现在
18:41.190–18:43.881
zh说的是……但是对于很多像公司来说，
18:43.881–18:47.671
zh它要 private，这个东西就要变得非常难。
18:47.671–18:50.087
zh我觉得它是有机会的，就是特别是像
18:50.087–18:52.356
zh企业这种应用啊。就特别现在是我们
18:52.356–18:54.914
zh看到一个 trend，就是现在很多的企业、
18:54.914–18:57.431
zh不同的 industry 的话都在 train 自己
18:57.431–19:02.778
zh的这个 domain specific 这些大模型。
19:02.778–19:06.006
zh像这个呃，刚刚那个 Harvey 自己那个 legal
19:06.006–19:09.039
zh的模型，我们一个叫 Tenet，其中一个例子。
19:09.039–19:12.714
zh然后现在还有一些 insurance 公司也要做
19:12.714–19:16.629
zh自己的大模型，然后他们每一个 industry
19:16.629–19:20.315
zh里面它有非常多的自己的这些条款。
19:20.315–19:23.071
zh虽然你说这些 information 有一部分是
19:23.071–19:25.461
zhpublic information 对吧，但是这个说
19:25.461–19:28.383
zhTrain 模型的时候可能没有那么多的区别。
19:28.383–19:30.752
zh但是从 harness Environment 来讲，
19:30.752–19:32.904
zh如果我们认为 coding 你可以做很多的
19:32.904–19:36.249
zhharness，然后我觉得做这些某一个企业
19:36.249–19:38.735
zhdomain 的具体业务流程，也会有很多这种
19:38.735–19:43.670
zhdomain knowledge 可以强制的加进去的。
19:43.670–19:45.940
zh所以我觉得还是，要是这些既然有
19:45.940–19:49.029
zhOpen weights 这些模型 fine tune for 某个
19:49.029–19:51.689
zhdomain，那我觉得也会有很多这种跟着
19:51.689–19:55.649
zh这些模型一起的这些 harness 系统的存在。
19:55.799–19:59.643
zh其实我可能看的就跟你不是特别一样。
19:59.643–20:03.419
zh我是觉得你要是走 vertical 的话，我相信它
20:03.419–20:06.794
zh一定是会有一些 quality，但是我其实比较
20:06.794–20:10.736
zh持怀疑态度是，它到底能够有多大的提升。
20:10.736–20:16.467
zh因为我们还是回到模型的通用的智能，
20:16.467–20:21.923
zh它的能力是变得越来越强了，有些东西
20:21.923–20:24.089
zh可能你把它放到模型内部或者放到
20:24.089–20:27.771
zhharness 里面，可能就节约更多的一些 token。
20:27.771–20:31.430
zh但是事实上它是不是真正能够使得这个
20:31.430–20:35.140
zh模型有巨大的提升，这个我确实不知道。
20:35.140–20:38.832
zh而且像像 Harvey 那个例子，其实他是把
20:38.832–20:42.021
zh模型 train 了对吧，他其实在这个 harness
20:42.021–20:45.023
zh上面的话，可能就是说 interaction 也
20:45.023–20:47.305
zh是同样的一些东西，这个我就不知道了，
20:47.305–20:49.871
zh不知道他们怎么去 run the benchmark。
20:49.871–20:54.033
zh我猜应该是会做一些这个 work。就当像我们
20:54.033–20:56.782
zh当年在 Orby 做这个 computer use 上面的话，
20:56.782–20:59.048
zh我们也下了很多的一些限制吧，当时不叫
20:59.048–21:01.775
zhharness，但是现在其实这些事情也都是
21:01.775–21:04.390
zh定义在 harness：你怎么 maintain state，
21:04.390–21:06.418
zh怎么进入下一步，什么东西可以做、什么
21:06.418–21:09.567
zh东西不可以做。所以我觉得可能那个
21:09.567–21:15.088
zh这些 legal firm 还是没有到这里吧，他们
21:15.088–21:19.825
zh可能还都比较早期，所以说可能有机会。
21:19.825–21:22.985
zh它确实像你说的，就是这些小模型啊
21:22.985–21:25.437
zh做 harness 这些事情能不能有一个
21:25.437–21:29.055
zh实际 meaningful 的提高，这个不知道了。
21:29.055–21:32.078
zh但是至少有一个是大家都认可的，
21:32.078–21:34.305
zh就是这个会给至少这些企业认为他们
21:34.305–21:36.672
zh有 better control，然后至少感觉还是
21:36.672–21:39.869
zh有 better control。实际有没有的话呢，
21:39.869–21:42.977
zh可能也比较难以衡量，因为你就是很主观
21:42.977–21:45.551
zh它不太容易 apple to apple compare。
21:45.551–21:47.779
zh明白。因为我看到的可能就是这些
21:47.779–21:51.066
zhOpen Source 的 harness 的 framework
21:51.066–21:52.599
zh出来以后，大家测的第一步其实是测的
21:52.599–21:55.066
zh大家测的第一步其实是测的这个 token saving，就是看那个 cache 的 hit rate 到底是有多少。
21:55.066–21:57.837
zhhit rate 到底是有多少。就是你一个 harness
21:57.837–21:59.999
zh系统应该是能做到就是 95% 就可以到
21:59.999–22:03.311
zh那个 cache 上，这样就是 token cost 一下
22:03.311–22:05.584
zh就降下来了对吧。真正的那个你能不能
22:05.584–22:09.591
zhDeliver 那个 High Quality，可能还是要
22:09.591–22:12.150
zh靠那个模型本身。对，然后要靠那个 tool
22:12.150–22:14.676
zh拿回来的这个 quality 好不好。所以我的、
22:14.676–22:19.030
zh我可能看到就是说，可能在 cost saving
22:19.030–22:21.631
zh上面我觉得它可能会有一个比较大
22:21.631–22:25.005
zh的区别，但是 quality 可能打一个问号。
22:26.023–22:28.634
zh不管怎么说，现在刚才提到的话，现在
22:28.634–22:31.318
zh企业的整个 Agent 的正确率还是不够，
22:31.318–22:34.535
zh还是有很大的差距。虽然说有的一些的
22:34.535–22:38.503
zh业务流程它对正确率要求没有那么高，
22:38.503–22:43.091
zh那些就会更先落地；但是像那些对于正确率
22:43.091–22:46.599
zh要求很高、然后它又需要很低的 cost，
22:46.599–22:49.377
zh我觉得这里面的话还有很长的路要走。
22:49.377–22:52.520
zh说不定你专注做的，还是你做时间够长了，
22:52.520–22:55.662
zh可能就变成下一代的系统了。所以这个
22:55.662–22:59.591
zh可能也就朝着像所谓的叫做 AI Operating
22:59.591–23:03.302
zhSystem，就 AI 操作系统、Agent 操作系统。
23:03.302–23:06.387
zh对，还有一个名词叫企业 AI 操作系统。
23:06.387–23:08.896
zh那这些其实也都是我要这样一个概念，
23:08.896–23:10.867
zh说我要有一个这样一个环境，能让我
23:10.867–23:13.171
zh这些 Agent 去做我自己企业的事情。
23:13.171–23:16.163
zh确实是。我觉得可能就像我们刚才说这个
23:16.163–23:19.039
zhPi 的例子哈，就是它是一个非常迷你版
23:19.039–23:23.055
zh的这么一个 harness，那它的受众可能更
23:23.055–23:26.396
zh多就是我们说开发者觉得，哎呀好小啊，
23:26.396–23:28.734
zh就非常 light weight 非常快就可以，
23:28.734–23:31.718
zh我作为一个开发者我可以去、去拓展它。
23:31.718–23:34.550
zh但可能对于一个社会来说，它可能更多的是
23:34.550–23:36.964
zh需要像你说的就是 Deepseek 这样样类型
23:36.964–23:39.463
zh的对吧。他可能要把这个不同的分层啊、
23:39.463–23:42.622
zh分级啊，把这个能、这个权力给他分开，
23:42.622–23:46.390
zh这样可能大家才会有真正的这种掌控感，
23:46.390–23:49.545
zh才能够相信这个模型它做的事情对不对。
23:49.545–23:52.345
zh我给你说一个就是我们做的一个
23:52.345–23:56.167
zh案例的 use case 很有趣。就是我们聊了
23:56.167–23:59.067
zh很多企业，他们其实会有自己的这个
23:59.067–24:02.451
zh叫商业逻辑 business logic，然后很多
24:02.451–24:04.851
zh这种 business logic 都是说我要先执行
24:04.851–24:06.645
zh第一步、执行第二步、再执行第三步，如果
24:06.645–24:09.862
zh遇到什么问题，就说我们说的 workflow。
24:09.862–24:13.008
zh然后我们让大模型就是说去理解这个，
24:13.008–24:16.317
zh看到比如他有这些 flow chart 也好、
24:16.317–24:19.727
zh写的这些 manual 也好，他去理解他都可以
24:19.727–24:22.362
zh做到非常好。但是当让一个大模型说你
24:22.362–24:25.410
zh按照这个东西去一步一步执行的时候，
24:25.410–24:28.105
zh大模型就挂掉了。我们虽然说很多模型
24:28.105–24:30.535
zh可以在做 instruction following 很正好，
24:30.535–24:34.708
zh但是到执行这种真正的、就是实打实的这种
24:34.708–24:37.750
zhAPI 然后一步一步执行，它就全都乱掉了，
24:37.750–24:42.101
zh它无法真正的去 follow 这个 instruction。
24:42.101–24:46.199
zh这个感觉这个地方就像你说的，可能需要
24:46.199–24:48.709
zh确实是有一个系统可以保证它对吧，
24:48.709–24:50.824
zh按部就班的把它执行好。当然我们说
24:50.824–24:53.794
zhcodify 这个东西可能也是一个方式对吧。
24:53.794–24:57.951
zh还有举一个例子就是 payment 系统，以后
24:57.951–25:02.051
zh可能大家说拿 agent 去买东西或者什么的。
25:02.051–25:05.143
zh然后我聊了天的时候有个朋友遇到的
25:05.143–25:07.564
zh问题是说，他曾经有一次跟这个模型
25:07.564–25:11.137
zh他曾经有一次跟这个模型说这是我的 credit card number，然后这个大模型就下一次、就是他就直接会拿 credit card 去帮他结算了对吧。
25:11.137–25:15.155
zh这个大模型就下一次、就是他就直接就
25:15.155–25:17.987
zh会拿 credit card 去帮他结算了对吧。
25:17.987–25:22.402
zh就是这个东西因为做 decision 和执行的
25:22.402–25:25.988
zh发生在同一个层面对吧，他没有把他剥
25:25.988–25:29.475
zh离开，这个时候人就完全就 lose control
25:29.475–25:31.015
zh了对吧。我觉得好像企业包括我们
25:31.015–25:33.673
zh日常还有很多 work，我觉得是真正让
25:33.673–25:36.433
zh这个可以让他落地的话，有事情要做。
25:36.433–25:41.180
zh对，企业最大的问题是要上 scale 对吧。
25:41.180–25:44.657
zh你要是 99% 的正确率，100 次错一次它也
25:44.657–25:47.530
zh不能接受，就像你星巴克买咖啡 100 杯
25:47.530–25:50.560
zh做错一次，这也不太能接受。所以企业
25:50.560–25:54.066
zh的要求还是非常非常高的，对于他们
25:54.066–25:57.683
zh不仅是从企业的营收方面考虑，它还有
25:57.683–26:01.508
zh很多的 regulation constraints 对吧。
26:01.508–26:03.978
zh那些保险公司、银行，它有的非常非常具体
26:03.978–26:07.463
zh的机构，那都是涉及到 legal 问题，他会要
26:07.463–26:13.597
zh面临罚款，那是比较实打实这个 impact 吧。
26:13.597–26:16.904
zh但是如果你说你省的钱只是说少雇了
26:16.904–26:20.209
zh一些人的话，这个最后这个 ROI 还是不 work。
26:20.209–26:23.749
zh所以企业的话，我觉得这个 harness
26:23.749–26:26.929
zh肯定是需要还要升级迭代。然后我还也
26:26.929–26:31.889
zh我觉得这个 neurosymbolic 也会是其中一个很重要的一个互动。
26:31.889–26:35.286
zh一个很重要的一个互动。我不能想象
26:35.286–26:37.366
zh一个至少在企业环境里面一个没有
26:37.366–26:41.399
zhneurosymbolic 这样的一个 harness 系统
26:41.399–26:44.749
zh的存在，不管这个 model 能力提升有多高。
26:45.041–26:48.150
zh后来这个可能就是现在系统的一个 gap，
26:48.150–26:50.548
zh我们现在还没有看到一个非常有效的
26:50.548–26:54.481
zh系统可以做到这一点。你觉得这一块其实
26:54.481–26:58.023
zh可能是一个 one billion dollar question：
26:58.023–26:59.771
zh这个 harness 这个东西会不会真正
26:59.771–27:06.057
zh的就被模型吃掉呢？因为我们看之前、
27:06.057–27:08.882
zh刚才我们刚才也说到了这个，可能
27:08.882–27:12.438
zh这个 harness 跟模型一起 train 效果
27:12.438–27:14.902
zh更好对吧。那如果就说大模型公司说，
27:14.902–27:17.948
zh那这个 harness 包括我们想说的这些
27:17.948–27:20.780
zh在 wishlist 上面的东西他们都做到了，
27:20.780–27:23.885
zh是不是这一块蛋糕就就都没有了？
27:25.056–27:27.681
zh我觉得不太会，还是我还是觉得不太会。
27:27.681–27:29.839
zh因为还是像刚才说，我觉得 harness
27:29.839–27:31.657
zh系统里面有个重要的部分，就是这个
27:31.657–27:34.681
zh会有一个 neurosymbolic 系统的存在。
27:34.681–27:37.558
zh它还是要去 symbolify 很多很多事情，
27:37.558–27:40.744
zh一个原因在于它很高效，另外一个它
27:40.744–27:43.657
zh就是更能做到百分之百的 control。
27:43.657–27:47.041
zh所以的话我觉得大模型可以演化、可以演化
27:47.041–27:51.169
zh它的能力更强，它可能变得越来越高效。
27:51.169–27:55.372
zh但是从让我们变得更容易 control、更容易
27:55.372–27:57.558
zh让系统变得更 scalable 的话，我觉得这个
27:57.558–28:01.009
zhharness 系统还是必要存在的。你怎么看？
28:01.101–28:04.486
zh我跟你相反，我觉得可能这个东西要被
28:04.486–28:06.881
zh大模型吃掉。codify 那就是把你现在的
28:06.881–28:09.789
zh东西写成 code、code generation，我觉得
28:09.789–28:12.394
zh这个问题现在基本上解决了。然后我是
28:12.394–28:14.341
zh觉得我同意的一点就是没有解决的，
28:14.341–28:17.536
zh就是怎么做这种 permission escalation，
28:17.536–28:19.780
zh什么时候 agent 能够干这件事、不能
28:19.780–28:22.300
zh干这件事，可能还需要一个第三方
28:22.300–28:25.194
zh的一套系统或者 layer 介入对吧。
28:25.194–28:29.622
zh是不是 harness 的一部分我不太确定，至少
28:29.622–28:33.654
zh我现在来看的话，它可能是不在 harness
28:33.654–28:38.019
zh系统里面。其实我给你举个例子，像这个现在
28:38.019–28:41.721
zhCPU 芯片对吧，大家都认为 CPU 计算它绝对
28:41.721–28:44.724
zh不会出错，但是其实它也是电压控制。对。
28:44.724–28:46.004
zh他也会出错。
28:46.148–28:48.090
zh它还要是一个 validation 的东西，确保我这个 bit 是没有乱掉的。
28:48.090–28:50.821
zh确保我这个 bit 是没有乱掉的。然后呢
28:50.821–28:54.888
zh那个东西就是 harness。其实我觉得像
28:54.888–28:58.964
zhCPU 这么已经这么规模化、然后这么的、
28:59.144–29:01.440
zh这么稳定的一个东西，它也是需要这个
29:01.440–29:05.947
zhcheck 的系统的存在。所以我觉得包括电话
29:05.947–29:09.064
zh信号传输、高速信号传输，它全都会有一个……
29:09.064–29:09.764
zh对。
29:09.764–29:14.690
zhchecksum。但是不、就是说用你的理论
29:14.690–29:17.465
zh打你的话，它就变成了 CPU 的一部分了。
29:17.465–29:20.587
zh你在卖 CPU 的时候你就可以卖这个系统对
29:20.587–29:24.844
zh吧，你说你可能要需要另外一套对吧。
29:24.844–29:27.887
zh这个东西会不会被这个 Open AI 吃掉？
29:27.887–29:30.864
zh确实像你说的可能会被它吃掉。它就是给
29:30.864–29:34.040
zh大模型的时候，以后大模型出来了就自带
29:34.040–29:37.666
zhharness，那我就配套来的，是很有可能发生
29:37.666–29:40.242
zh的吧。是不是需要一个通用的 harness？
29:40.242–29:42.305
zh或者说 harness 就会像变成 Checksum
29:42.305–29:44.289
zh这样的一个技术，就谁也不能 charge
29:44.289–29:46.016
zh钱了，因为它就是一个免费的东西。
29:46.016–29:48.699
zh就像 Internet 现在这个技术基本就是
29:48.699–29:51.339
zh免费的东西，也有可能变成这个样子。
29:51.339–29:55.739
zh终于 OK。好，我们这期 harness 就先聊到这里。
29:55.739–30:00.266
zh然后我们说两个上周发生的事情，我可以
30:00.266–30:03.915
zh先来。我先说的一个事就是打脸。我们其实
30:03.915–30:07.962
zh我们其实之前没过两期聊到 OpenRouter，它就被 Stripe 天价收购了，我们说它没有护城河，然后啪啪打脸，所以这个还是蛮有趣的。
30:07.962–30:12.532
zhStripe 天价收购了，我们说它没有护城河，
30:12.532–30:17.179
zh然后啪啪打脸，所以这个还是蛮有趣的。
30:17.267–30:20.723
zh确实是，没有护城河也能卖六个 billion。
30:20.723–30:23.747
zh比如说你有 volume 对吧、有用户，我觉得
30:23.747–30:26.197
zh就可以。但是我也是瞎猜测，就是说毕竟
30:26.197–30:29.803
zh你看他们的 business model 很像，就是说
30:29.803–30:32.568
zh都是做这种平台中枢型的东西对吧，
30:32.568–30:36.398
zh然后集散。只不过 Stripe 并没有说是
30:36.398–30:39.359
zh在核心的这个 GenAI 的赛道，它通过
30:39.359–30:41.974
zh这个可能也就是说拓宽了它这个赛道，
30:41.974–30:45.631
zh并且可以 diversify 它的 business。
30:45.631–30:47.905
zh我觉得可能还是这个 Stripe 比较
30:47.905–30:52.072
zhdesperate，他就是想要讲一个 AI 的 story，
30:52.072–30:55.676
zh然后也是找了一个这么一个非常 unique、
30:55.676–30:57.789
zh像你说的一种非常契合的一个东西，
30:57.789–31:00.241
zh他们作为其入口。相当于就是花六个
31:00.241–31:03.338
zhbillion 买一个机会，说不定这个
31:03.338–31:06.191
zh下个季度财报就把这钱挣回来了。
31:06.191–31:10.831
zh可以看看他们怎么去运行。
31:10.831–31:13.451
zh咱们如果是到时候他们 CEO
31:13.451–31:15.451
zh上来讲这事，咱们会回答。
31:17.583–31:21.497
zh然后我可能要讲的话，就是这周的话
31:21.497–31:27.112
zhNVidia 宣布他们要投入 6 个 billion，这是真金白银 6 个 billion 去做 open weights model。
31:27.112–31:30.775
zh这是真金白银 6 个 billion 去做 open
31:30.775–31:34.117
zhweights model。他们的口号要做最好的 US
31:34.117–31:38.177
zh的 open weight model，我觉得这个让我看到
31:38.177–31:41.663
zh还是挺振奋人心的。然后连着这个的话，
31:41.663–31:43.708
zh说不定他们下一步就会 launch 一个
31:43.708–31:45.943
zhNvidia 版本的 harness system 给大家用。
31:45.943–31:47.218
zh有可能，有可能。
31:47.218–31:49.469
zh我觉得还蛮看好的，因为之前还有不少
31:49.469–31:52.288
zh的谷歌的同事都跑到了 NVidia，对。
31:52.288–31:54.647
zh然后包括他们的一个 Infra 啊、
31:54.647–31:57.527
zhTraining 啊，对，所以还挺拭目以待的。
31:57.527–31:59.825
zh现在我们用 Nemotron 体验就特别好。
31:59.825–32:02.872
zh现在我们有个 Spark 那个机器，DGX 的 Spark，
32:02.872–32:06.271
zh那个机器跑那个千问 3.8，就比那个那个
32:06.271–32:10.767
zhNemotron 慢很多，就慢将近 10 倍左右。
32:10.767–32:13.567
zh好的，我们这期就聊到这里，大家拜拜。
32:13.567–32:14.567
zh拜拜。
0:08.000–0:10.113
哈喽大家好，我是 Lewis。
0:10.113–0:11.201
大家好，我是 Will。
0:11.201–0:13.750
这期我们其实想接着上次，我们留
0:13.750–0:16.294
了一个话题，是说讲 agent harness。
0:16.294–0:18.756
然后 agent harness 最近也是非常的火，
0:18.756–0:21.906
感觉这一波是 Deepseek 带起来的。
0:21.906–0:24.206
他把自己的这套 core 的 harness 给
0:24.206–0:26.295
open source 了，然后一下就点爆了
0:26.295–0:29.794
这个 community，大家就开始试它。
0:29.794–0:32.080
这个东西不如我们先给大家来说一说，
0:32.080–0:35.040
agent harness 到底是什么。我的理解的话呢，
0:35.040–0:37.775
这个 harness 还是非常重要的一个环节，
0:37.775–0:40.885
就特别是在 agent 这个年代。咱先说它
0:40.885–0:44.309
功能性上来说的话，它提到的一个最大的、
0:44.309–0:48.259
提供一个最大的一个价值在于，以前的话呢，
0:48.259–0:52.275
大家认为这个 agent 都是这种对话式的，
0:52.275–0:55.487
他做任务都是一件事一件事，就就说我要
0:55.487–0:59.372
生成一个 doc、生成一个 image。但是的话，
0:59.372–1:03.488
就是这个 harness 就变、就是让这个 agent 能
1:03.488–1:06.453
run 这种 long horizon task，就是几个小时
1:06.453–1:08.648
的这种 task。然后整个过程当中，它需要
1:08.648–1:12.155
一个一整套的 evaluation validation
1:12.155–1:15.045
然后 self correction，这一套的机制能
1:15.045–1:18.125
保证它能做一个更长的 task。我的从功能
1:18.125–1:20.766
上理解是这样理解的，我不知道你怎么看。
1:20.766–1:22.903
从产品来说吧，我觉得可能就是说，
1:22.903–1:25.817
大家刚开始做这个大语言模型，可能更
1:25.817–1:28.657
多的就是看这个叫什么，这个光标对吧，
1:28.657–1:31.461
就是我打进去一个一个问题，然后你模型
1:31.461–1:33.972
给我一个答案，这可能是第一个雏形。
1:33.972–1:35.450
那个时候就是比较热门的就是叫
1:35.450–1:38.428
prompt engineering 对吧，大家想怎么把
1:38.428–1:41.568
这个 prompt 写好。然后当时其实我们内部
1:41.568–1:45.424
还在说，每一个模型它都有自己的个性，
1:45.424–1:48.409
所以你用你自己的一套 prompt 去跟
1:48.409–1:52.185
OpenAI 说话，再去跟 Gemini 说话，他的理解
1:52.185–1:54.673
不太一样。所以当时模型能力也是受限，
1:54.673–1:56.748
所以我们说 prompt engineering。对，后来
1:56.748–1:58.552
就变成了叫 context engineering 对吧。
1:58.552–2:00.971
context engineering 就是说你怎么把
2:00.971–2:03.598
合适的东西放在 prompt 里面，然后让
2:03.598–2:06.421
模型可以更有效。这个时候我觉得好像
2:06.421–2:09.414
大家还都是在做怎么回答好一个问题。
2:09.414–2:12.233
现在我觉得就是说，我们一直得强调
2:12.233–2:15.229
ROI 对吧，就是说企业要买模型然后
2:15.229–2:17.802
部署这个东西，他要的是能够落地，
2:17.802–2:20.758
他能让模型真正的去做一些任务。
2:20.758–2:24.802
一旦做任务的话，就不只是简单是拿一个
2:24.802–2:27.890
这个叫什么答案回来了，那他就可以要、
2:27.890–2:31.904
要去执行代码对吧，要去 call API，然后要
2:31.904–2:35.565
保证这些东西能够安全然后合规对吧。
2:35.565–2:38.162
这个 Harness 其实就是衍生出来的这
2:38.162–2:41.419
一套在模型外面的系统，能够更好的、就是
2:41.419–2:44.253
让这种像你刚刚说了这个可以跑很多
2:44.253–2:47.223
天的这种这种任务对吧，能够真正落地。
2:47.223–2:50.353
我觉得就是说，可能他就是帮人们从一个
2:50.353–2:54.984
简单的一个模型扩展到了一个一个系统。
2:55.609–2:58.322
所以我是一个自然的 agent 发展的过来
2:58.322–3:00.291
一个，在我眼里的话，不觉得它是一个
3:00.291–3:03.110
新生物种。我觉得它就是一个 agent 在
3:03.110–3:06.380
自我发展的过程当中自然而然产生
3:06.380–3:10.809
的一个更系统化、更复杂、更大规模、
3:10.809–3:14.598
更 engineering 的一个系统组件吧。
3:14.598–3:18.047
对，这就是一个就像你说的，在每一个发展的
3:18.047–3:20.430
阶段，好像大家意识到一个新的问题对吧。
3:20.430–3:22.856
遇到一个新的问题，我们再给它起一个名字，
3:22.856–3:24.774
把它当成一个问题然后来解决对吧。
3:24.774–3:27.826
可能在当前那个阶段，现在大家要讲求它
3:27.826–3:31.227
可以帮你去、就是自动化这些 task 对吧，
3:31.227–3:34.677
那 harness 就产生了。那我们不如来说
3:34.677–3:39.282
一说 Deepseek 它做的 harness 系统。
3:39.282–3:42.717
Deepseek 好像它 Open Source 大家都非常
3:42.717–3:45.434
喜欢的原因，是它把它变成了模组化，
3:45.434–3:49.762
好像每一个都是一个 plugin、都是一个
3:49.762–3:52.872
插件，然后大家都可以用来不同的
3:52.872–3:56.466
组件来更换。这个的话是不是对企业、
3:56.466–3:59.622
对很多开发的时候就有很大的帮助？
3:59.622–4:04.078
对，从本质上的话，就把 harness 这个
4:04.078–4:07.389
事情变得更容易 engineering 了，
4:07.389–4:09.869
就变得更容易去拆组，然后根据自己
4:09.869–4:13.822
的需求然后调整 harness 的 behavior。
4:13.822–4:16.222
像以前的话大家都是在 Agent Loop 里面
4:16.222–4:19.591
加一些 tool、加一些 command、加一些
4:19.591–4:23.950
permission check 这些事情，但是它
4:23.950–4:28.118
没有更系统化的去把整个 Agent Loop
4:28.118–4:32.496
里面不同的组件可以任意地搭配起来。
4:33.158–4:36.575
其实我们之前好像讲 memory 那期也涉及
4:36.575–4:39.556
到了这些方面的话题。我们通常来说这个
4:39.556–4:43.765
Agent Loop 是比较简单的，就说你有没有
4:43.765–4:47.599
达到最终的目标、也完成这个任务，没完成
4:47.599–4:50.798
你就自动去、自己去发现为什么没有完成。
4:50.798–4:53.427
在这个过程中的话，就需要这种不同
4:53.427–4:56.337
的组件然后去支持它完成这件事情。
4:56.337–4:59.597
所以可能这种模块化的话，就让这种
4:59.597–5:04.040
工程学来说更容易，大家只需要用同样
5:04.040–5:07.683
的这么一个模板，对，把适应、对应的这些
5:07.683–5:10.446
东西拿进来，它很容易就可以工作了。
5:10.446–5:15.627
对，其实就是把 agent 的一些 best practice
5:15.627–5:18.186
以一种可拼装的形式组在一起。
5:18.638–5:21.697
你觉得这个 Deepseek 为什么会 open source
5:21.697–5:23.482
这个？因为你像我们之前内部的话，曾经
5:23.482–5:26.191
还有一段时间看这个 Claude Code 对吧，
5:26.191–5:28.147
他做了这个 managed agent，然后大家
5:28.147–5:30.097
都说，哇，他这个 harness 做的真不错。
5:30.097–5:32.610
他就会觉得这个 harness 感觉是
5:32.610–5:34.838
又是一个下一个风口对吧，所以要
5:34.838–5:37.720
赶快去做这件事。但是这个 Deepseek
5:37.720–5:40.258
直接就把他自己的这一套给开源了。
5:40.814–5:43.847
我当时看到开源的时候，我主要是
5:43.847–5:46.739
当时的思考逻辑就是说，他把它、因为
5:46.739–5:50.620
Deepseek 他们是开源模型对吧，他是模型。
5:50.620–5:53.240
一般的人都不会自己在、不会用这个
5:53.240–5:55.876
一般的人都不会自己在、不会用这个 Deepseek 自己的提供 API 去用这些大模型，或者用 Deepseek 的 service 去用这些大模型，他可能在任意地方去 serve。
5:55.876–5:58.222
或者用 Deepseek 的 service 去用这些
5:58.222–5:59.955
大模型，他可能在任意地方去 serve。
5:59.955–6:01.994
他一旦自己 serve 这些 model 的时候，
6:01.994–6:03.519
他就会面临一个问题：那我用什么样的
6:03.519–6:06.118
harness environment 去做这件事情？
6:06.118–6:09.621
你也可以用 OpenAI 的，你也可以用 Claude，
6:09.621–6:12.420
但是可能最好的就不如用一个它自、这个
6:12.420–6:15.677
Deepseek 调制好的这样的一个 harness。
6:15.677–6:17.894
这样的话，大家对于这个 Deepseek 这个
6:17.894–6:20.089
model，特别是那些小一点 weights
6:20.089–6:22.168
的 model、小一点的 model，可能就是
6:22.168–6:24.296
使用体验会好很多。所以整体来说，
6:24.296–6:26.614
可能就是这个能 help 他们的 adoption。
6:26.614–6:29.313
对，我们刚才提出说到一点我还觉得挺、
6:29.313–6:32.320
就突然我想到了哈，就是用 Deepseek
6:32.320–6:34.377
的很多企业，可能他真的不会去、
6:34.377–6:37.978
就是去 call 这个 Deepseek 的 API 对吧。
6:37.978–6:39.987
他可能觉得不、这个对吧，不太信任。
6:39.987–6:43.288
反而他可能就是把这个 open weights model
6:43.288–6:45.745
用在自己的数据中心，或者是其他的云
6:45.745–6:48.665
对吧。那这个时候他就非常的独立了，
6:48.665–6:51.178
那这个时候他就非常的独立了，那他就等于这个、这个系统没有。
6:51.178–6:53.230
那对于 Deepseek 来说，那可能我把这
6:53.230–6:56.551
一部分也开源了，也是他唯一的途径。
6:56.568–7:01.334
要不然他也很难说有一套像 Claude
7:01.334–7:03.746
一样，他做一个 managed service，
7:03.746–7:05.036
大家可能也很难信任他，然后去
7:05.036–7:07.104
把这个服务 run 在他这个上面。
7:07.104–7:11.341
其实 Deepseek 的 CEO 梁文锋之前在一次
7:11.341–7:13.693
的这个泄露的内部会议上面，其实提到
7:13.693–7:16.384
过一次，他们说他们就要专注、专注于做
7:16.384–7:20.711
generic 大模型，其实没有提到这个 harness。
7:20.711–7:22.887
然后我觉得他们现在把这个放出来，
7:22.887–7:26.340
不知道是他们以后就要专注这个方向、
7:26.340–7:28.508
然后持续放出来这个东西，还是说我这
7:28.508–7:30.845
东西做了一个版本把它 open source
7:30.845–7:33.324
出去，不做我们一个拳头产品做研发。
7:33.404–7:36.498
你这个角度很有趣，其实也可以是我们下
7:36.498–7:39.417
一个话题：这东西为什么就突然火了对吧？
7:39.417–7:42.025
是不是因为这些像你说 Deepseek 这些
7:42.025–7:44.802
大模型公司突然发现，好像模型卷的东西
7:44.802–7:48.162
不多了，然后这个外边有好多新的一个领域
7:48.162–7:51.904
可以去卷，然后所以大家都开始做 harness。
7:53.308–7:56.906
其实我觉得在应用环境当中，除了这非常
7:56.906–8:02.498
generic 的 task，harness 这个东西还是
8:02.498–8:05.976
非常复杂的。包括我内部的 API 怎么调用，
8:05.976–8:08.459
假如你一个公司内部开发了某一个 API，
8:08.459–8:11.008
或者说某一个 validation 那个东西，或者
8:11.008–8:14.865
某个 rule，这些大模型其实很难知道的。
8:14.865–8:17.719
然后这些 API 可能定义的非常的不直觉，
8:17.719–8:21.908
也非常不符合这个 semantic 的定义，就需要
8:21.908–8:25.320
去做这个 harness。以前大家做法就是说，
8:25.320–8:27.808
要不就写在 prompt 里面我这里面都有什么
8:27.808–8:30.265
东西，然后后来做 context engineering，
8:30.265–8:33.604
就是我写一些 skills 把这些说清楚。
8:33.604–8:35.596
现在更进阶的办法，就是我把这些东西都
8:35.596–8:38.122
编制在我的 harness environment 里面，才能
8:38.122–8:41.820
让我系统化的开发所有 agent 都比较好用。
8:41.820–8:44.258
所以这可能也是我们为什么看到多数的
8:44.258–8:47.753
harness 的系统现在还都是在 coding agent
8:47.753–8:50.120
上。可能你要是做这种企业的部署，这
8:50.120–8:54.120
vertical 这种垂直领域的还是比较难。
8:54.460–8:56.867
说到这个头，其实 harness 它对于企业
8:56.867–8:58.791
的一部分需求解决挺好的。就是说这种
8:58.791–9:01.867
quality 来看，就是刚才说是 coding 嘛。
9:01.867–9:04.600
他 coding 大家现在看的主要还是这个
9:04.600–9:06.840
quality 怎么样，因为都是 human in the loop，
9:06.840–9:08.874
不会太会让这个 coding 完全自动化。
9:08.874–9:11.150
你最后还是要看一下，哪怕我不看 code，
9:11.150–9:12.940
我也要看一下这个生产的 app 的结果。
9:12.940–9:15.540
所以说结果更重要、效率更重要，
9:15.540–9:18.340
我结果正确概率越大，觉得越好用。
9:24.414–9:26.981
企业它很多这种自动化的要求的话，
9:26.981–9:30.393
它希望这东西就是帮我把它做对，
9:30.393–9:33.085
那这个就需要很大的 guarantee，或者
9:33.085–9:35.404
是 follow 某一个 rule，永远都要 follow
9:35.404–9:38.454
这个 rule，那不 follow 的话就是不可以的。
9:38.454–9:40.395
那这种情况下，在 harness、这种通常的这
9:40.395–9:43.674
harness 的并没有实际的解决这类问题。
9:44.252–9:47.965
其实也就是说，harness 并不能够真正的把
9:47.965–9:52.493
一个可以重复反复的这种 workflow 变成
9:52.493–9:57.038
一种、就是更 deterministic 这种情况对吧。
9:57.038–10:00.554
它还是等于做了很多的希望能够让它
10:00.554–10:04.220
变成更可靠，但是事实上还是会出现各种
10:04.220–10:06.245
问题。所以如果说用咱以前说的这个
10:06.245–10:09.164
availability 是几个 9 嘛是吧，我觉得
10:09.164–10:12.514
我觉得现在可能就是一个 9 的状态，90% 做对，但是企业可能需要三个 9、四个 9，但一直都 是这样子，所以还是有很大的距离要做。
10:12.514–10:15.660
但是企业可能需要三个 9、四个 9，但一直都
10:15.660–10:18.784
是这样子，所以还是有很大的距离要做。
10:19.068–10:21.766
对，确实是。因为像我们内部当时在做这个
10:21.766–10:24.981
Agent Memory 的 benchmark，我们开源的
10:24.981–10:27.433
一个东西叫 State-bench，对，之前有说过。
10:27.433–10:30.345
其实我们另外定义了一个 metrics，
10:30.345–10:33.050
就是 run 同一个 task run 五遍，看看你
10:33.050–10:35.284
是不是都能拿到同样的结果对吧。
10:35.284–10:38.265
就是如果你发现这个有起伏，那就说明
10:38.265–10:40.991
你这一套 workflow 定义的 harness 就
10:40.991–10:44.744
不够，对 enterprise 里面就不够可靠。
10:44.744–10:47.368
5 次都做对，其实也不是那么可靠听起来。
10:47.368–10:50.754
哈哈。哈哈，对。那这个东西是吧，你要做到多少？
10:50.754–10:54.688
这个三个 9，那就得 run 多少次，就几万次可能。
10:55.624–10:58.891
感觉整个就算 harness 现在我们想到的
10:58.891–11:01.827
这个雏形就做到非常好，也很难去解决这个
11:01.827–11:04.904
真正 enterprise 里面的这些部署问题。
11:04.904–11:05.604
对。
11:05.604–11:09.866
所以我觉得这个 harness 本身的话，
11:09.866–11:12.280
那可能是至少跟现在的这种方式，
11:12.280–11:14.454
可能不足以解决 enterprise 的问题。
11:14.454–11:16.932
那你说下一个东西能解决 enterprise 的
11:16.932–11:19.245
问题是不是叫 harness？又会起一个新的
11:19.245–11:22.956
名字对吧。可能现在有叫 Control plane。
11:22.956–11:25.196
loop engineering 算不算？
11:25.196–11:26.596
有 loop engineering。
11:26.596–11:29.407
还有 governance 对吧。然后这些
11:29.407–11:31.456
东西可能就是下一代东西能
11:31.456–11:33.656
帮助企业把这个确实做好。
11:33.996–11:38.144
其实我们前一期录的时候我有分享一点。
11:38.144–11:41.085
我觉得像 Deepseek 的这种方式，它把所有
11:41.085–11:44.536
的东西都变成一个 plugin，然后这个其实
11:44.536–11:47.445
是我觉得是相信大模型的一个做法。
11:47.445–11:51.308
它甚至连 agent loop 你都可以换掉，
11:51.308–11:54.248
当然这是需要人去换。我们当时做的
11:54.248–11:58.499
memory 就是说，大模型可能不能够很
11:58.499–12:02.686
稳定的去 call memory，我要做一个
12:02.686–12:05.096
knowledge base 的种 retrieval 什么时候，
12:05.096–12:07.763
我就 hard code 进去，每次都做，保证一定
12:07.763–12:11.344
会有这个 context。这个其实大家就等于
12:11.344–12:14.219
在这个 loop 里面做了很多很多工作。
12:14.219–12:17.527
现在这么看来的话，就说 Deepseek 的这个
12:17.527–12:20.381
角度，它就很明确的是说我们放权了对吧，
12:20.381–12:25.814
让大模型、让 intelligence 去 lead the way。
12:25.814–12:29.590
这个我觉得还是、我觉得还是怎么说，我
12:29.590–12:31.751
觉得从他的角度来，他做这件事非常合理，
12:31.751–12:34.456
作为一个 open source、相信一个未来的角度。
12:34.456–12:36.586
对。对于 enterprise，可能大家现在
12:36.586–12:38.574
还是会说我都 hardcode 起来，
12:38.574–12:40.876
这样就更确定性更高一点。
12:41.870–12:44.921
对，所以其实你提到这个所有东西，
12:44.921–12:46.882
对于我们来说都特别兴奋的。就是说，
12:46.882–12:48.971
因为我们在做 self improving agent，
12:48.971–12:51.936
就自我迭代嘛，那你要是能系统性的
12:51.936–12:55.806
决定你所有东西都是可以自我调整的，
12:55.806–12:59.633
那就会有最大的 flexibility。就像基因
12:59.633–13:02.435
对吧，你所有的这个链组都是可以改的，
13:02.435–13:05.118
那你就是进化就无限的可能对吧。
13:05.118–13:08.531
所以就是看到他们这样做的时候觉得，
13:08.531–13:10.943
哦，这个还是有人跟我们想的思路挺
13:10.943–13:13.865
像的，就认为所有东西都是可以改的。
13:13.865–13:17.154
但是现在还没有看到改这个 model 自己的
13:17.154–13:20.674
architecture、自己 weights 的这个事情，
13:20.674–13:22.726
可能把这个 fine-tuning 的这东西加进去
13:22.726–13:24.703
之后，它的连接 model 自己也可以改自己。
13:24.703–13:28.643
对，这个主要就是叫什么时间 compute 对吧？
13:28.743–13:30.950
这个可能现在还不是特别 feasible。对，
13:31.158–13:35.096
但我相信肯定最后也会有人做。但是事实上，
13:35.303–13:37.603
我觉得这也是一个迷思，我们可能扯远了。
13:37.723–13:40.843
就是 continuous training 这个话题其实
13:40.843–13:44.830
是感觉是老生常谈了，其实当时我们在
13:44.830–13:47.883
做 AI 的很多年前就在做这个，但是好像
13:47.883–13:51.369
在那个时代也都没有落地。这个就里面
13:51.369–13:55.295
感觉还是有很多这个叫什么 bottleneck。
13:55.295–13:56.295
对。
13:57.503–14:02.514
还是价值不是特别清楚我觉得。因为你像
14:02.514–14:05.127
之前是 continuous learning 一般都是做
14:05.127–14:08.341
fine tuning，然后 fine tuning 还比较花数据，
14:08.341–14:11.605
然后能提高的东西也比较有限，然后还有
14:11.605–14:15.247
解决这个、还解决不了以前这个会忘记过去
14:15.247–14:20.082
的问题。所以这东西作为一个卖点的话，
14:20.082–14:22.857
让用户看到效果可能需要很长的时间。
14:22.857–14:25.569
我觉得现在的这个 self improvement
14:25.569–14:27.457
像咱上次聊的，还是面临同样的问题：
14:27.457–14:31.161
我又怎么样能给这个用户看到价值？他们
14:31.161–14:34.597
还是很希望现在我买东西现在开箱即用。
14:35.071–14:37.690
确实是。但我觉得像这个 Deepseek 的话，
14:37.690–14:41.157
就应该已经帮助很多公司可以做到这个了。
14:41.157–14:44.160
因为我其实发布以后试了试，然后看了
14:44.160–14:47.220
网上那些大家用的体验，很多人就是说
14:47.220–14:50.398
拿来啪一跑，然后换上千问的模型就
14:50.398–14:53.498
非常强。我觉得这个东西其实就是让
14:53.498–14:57.311
大家更能够离 frontier 就更近一步。
14:58.243–14:59.543
对，确实。
14:59.551–15:01.931
我们刚才提到了这个 Claude 是有
15:01.931–15:05.864
managed agent。当时其实我们很担心的
15:05.864–15:09.033
一块，就是你如果是大模型公司，你的
15:09.033–15:12.684
harness 其实是可以和模型一起去训练的。
15:12.684–15:16.151
如果我们是说一些非常通用的这些
15:16.151–15:19.151
工具的话，比如说读写一个文件什么，
15:19.151–15:22.237
这些大家都可以；但一旦涉及到有一些
15:22.237–15:25.392
比如说你私有化的一些工具，如果是
15:25.392–15:31.690
frontier lab，Anthropic、Gemini、OpenAI，
15:31.690–15:33.715
它是不是就会比其他的这种公司要有
15:33.715–15:36.565
一个很大的一个优势？当然 Deepseek
15:36.565–15:38.979
我们说的也是它拥有这个模型。
15:38.979–15:42.081
那有一些开源的这种做 harness 的话，
15:42.081–15:44.497
它不能够跟模型强绑定，这种情况
15:44.497–15:48.065
是不是他们的这竞争力就会差很多？
15:48.667–15:52.047
这个确实我两边都觉得有可能。
15:52.047–15:54.819
一方面就是在大模型的话，他们自己
15:54.819–15:57.647
train 自己的 harness，但是他们其实
15:57.647–16:00.540
想要开发的是更通用的智能对吧。
16:00.540–16:05.522
所以就是说，一方面我觉得他应该不会
16:05.522–16:09.918
说是我就要 customize 的 model，假如说
16:09.918–16:13.515
OpenAI 就是给我 Codex 去 train 我这个
16:13.515–16:17.072
model，以至于它在这 harness 做的很好。
16:17.072–16:19.213
有可能的可能是说，它能有更早的
16:19.213–16:22.439
access 这个 model，然后可能根据这个
16:22.439–16:27.239
事情把它 harness 做的优化，这个有可能。
16:27.239–16:31.003
然后回到创业的话，其实你像 Pi 现在大家，
16:31.003–16:33.095
我虽然说我还没有自己用过，但是现在就是
16:33.095–16:36.703
反馈特别好，就说他们特别的省 token。省 token。
16:36.703–16:37.943
省 token。
16:40.559–16:42.339
所以至于说这个模型怎么能跟
16:42.339–16:45.639
harness 做好、然后怎么跟 coding agent
16:45.639–16:47.539
做的更好的话，我觉得这个也不是说
16:47.539–16:50.001
别人就没有这个 technology，在大家
16:50.001–16:52.415
都有这个大模型 access 的前提下。
16:52.415–16:55.165
因为你像说 Pi 的话，就是我看到他说他很省、
16:55.165–16:58.018
省 token 的原因，一个就是说他 system
16:58.018–17:00.959
一个就是说他 system prompt 是少于 1000 个 token，就非常小；
17:00.959–17:04.945
其次他整个 harness 里面就只有四个 tool，
17:04.945–17:07.855
就是读写文件然后改文件，就这些东西。
17:07.855–17:11.248
从 Deepseek 的角度说，他就非常广泛。
17:11.248–17:14.881
你再看 Claude code 的话，其实我相信他就
17:14.881–17:17.475
更多了，因为他还要 manage 自己的 memory。
17:17.475–17:19.581
他可能、我不知道 Claude 里面还有一些
17:19.581–17:23.335
API，他要 set 一个 outcome 这种东西。
17:23.388–17:26.455
其实从一定的角度来说，你把这个模型
17:26.455–17:31.045
和 harness 绑定去做这件事的，其实
17:31.045–17:34.568
你是有飞轮的、飞轮效应的。因为你说
17:34.568–17:38.917
coding Agent 的话，我落地的 Use Case 是这样，
17:38.917–17:42.589
我可以试试怎么能够把它弄得更好，然后
17:42.589–17:46.269
反而去看看这东西能不能变成通用的。
17:46.269–17:49.589
好像就是说直接去做通用，我只是猜想，
17:49.589–17:54.869
就是说直接做通用的话感觉太广泛了。
17:55.123–17:59.758
对，确实做通用、直接做通用的难度高很多，
17:59.758–18:02.613
然后要求也高很多。对，但是如果能把它
18:02.613–18:05.400
做通，像 cursor 一样对吧，他最后也能
18:05.400–18:08.086
创业自己的 model，然后他反向的去控制
18:08.086–18:10.867
这件事情，说不定也是一个创业的机会。
18:10.867–18:13.673
那说到创业的话，你觉得在企业这边，
18:13.673–18:16.071
比如说我们做 vertical 和做比较
18:16.071–18:19.717
generalized 的一个 harness 是有区别的吗？
18:19.717–18:22.999
因为我马上能想到的就比如说我们刚才
18:22.999–18:25.495
说有不同的工具，我们现在看到的这些
18:25.495–18:29.166
harness 的工具，好像很难说我想去内部
18:29.166–18:33.037
调用一个什么 Google Workspace 的 tool，
18:33.037–18:34.819
或者说想去调用一个微软的什么你的
18:34.819–18:37.577
identity 的 tool 对吧。这些东西好像还
18:37.577–18:41.190
都是比较 specific，而且我们还现在
18:41.190–18:43.881
说的是……但是对于很多像公司来说，
18:43.881–18:47.671
它要 private，这个东西就要变得非常难。
18:47.671–18:50.087
我觉得它是有机会的，就是特别是像
18:50.087–18:52.356
企业这种应用啊。就特别现在是我们
18:52.356–18:54.914
看到一个 trend，就是现在很多的企业、
18:54.914–18:57.431
不同的 industry 的话都在 train 自己
18:57.431–19:02.778
的这个 domain specific 这些大模型。
19:02.778–19:06.006
像这个呃，刚刚那个 Harvey 自己那个 legal
19:06.006–19:09.039
的模型，我们一个叫 Tenet，其中一个例子。
19:09.039–19:12.714
然后现在还有一些 insurance 公司也要做
19:12.714–19:16.629
自己的大模型，然后他们每一个 industry
19:16.629–19:20.315
里面它有非常多的自己的这些条款。
19:20.315–19:23.071
虽然你说这些 information 有一部分是
19:23.071–19:25.461
public information 对吧，但是这个说
19:25.461–19:28.383
Train 模型的时候可能没有那么多的区别。
19:28.383–19:30.752
但是从 harness Environment 来讲，
19:30.752–19:32.904
如果我们认为 coding 你可以做很多的
19:32.904–19:36.249
harness，然后我觉得做这些某一个企业
19:36.249–19:38.735
domain 的具体业务流程，也会有很多这种
19:38.735–19:43.670
domain knowledge 可以强制的加进去的。
19:43.670–19:45.940
所以我觉得还是，要是这些既然有
19:45.940–19:49.029
Open weights 这些模型 fine tune for 某个
19:49.029–19:51.689
domain，那我觉得也会有很多这种跟着
19:51.689–19:55.649
这些模型一起的这些 harness 系统的存在。
19:55.799–19:59.643
其实我可能看的就跟你不是特别一样。
19:59.643–20:03.419
我是觉得你要是走 vertical 的话，我相信它
20:03.419–20:06.794
一定是会有一些 quality，但是我其实比较
20:06.794–20:10.736
持怀疑态度是，它到底能够有多大的提升。
20:10.736–20:16.467
因为我们还是回到模型的通用的智能，
20:16.467–20:21.923
它的能力是变得越来越强了，有些东西
20:21.923–20:24.089
可能你把它放到模型内部或者放到
20:24.089–20:27.771
harness 里面，可能就节约更多的一些 token。
20:27.771–20:31.430
但是事实上它是不是真正能够使得这个
20:31.430–20:35.140
模型有巨大的提升，这个我确实不知道。
20:35.140–20:38.832
而且像像 Harvey 那个例子，其实他是把
20:38.832–20:42.021
模型 train 了对吧，他其实在这个 harness
20:42.021–20:45.023
上面的话，可能就是说 interaction 也
20:45.023–20:47.305
是同样的一些东西，这个我就不知道了，
20:47.305–20:49.871
不知道他们怎么去 run the benchmark。
20:49.871–20:54.033
我猜应该是会做一些这个 work。就当像我们
20:54.033–20:56.782
当年在 Orby 做这个 computer use 上面的话，
20:56.782–20:59.048
我们也下了很多的一些限制吧，当时不叫
20:59.048–21:01.775
harness，但是现在其实这些事情也都是
21:01.775–21:04.390
定义在 harness：你怎么 maintain state，
21:04.390–21:06.418
怎么进入下一步，什么东西可以做、什么
21:06.418–21:09.567
东西不可以做。所以我觉得可能那个
21:09.567–21:15.088
这些 legal firm 还是没有到这里吧，他们
21:15.088–21:19.825
可能还都比较早期，所以说可能有机会。
21:19.825–21:22.985
它确实像你说的，就是这些小模型啊
21:22.985–21:25.437
做 harness 这些事情能不能有一个
21:25.437–21:29.055
实际 meaningful 的提高，这个不知道了。
21:29.055–21:32.078
但是至少有一个是大家都认可的，
21:32.078–21:34.305
就是这个会给至少这些企业认为他们
21:34.305–21:36.672
有 better control，然后至少感觉还是
21:36.672–21:39.869
有 better control。实际有没有的话呢，
21:39.869–21:42.977
可能也比较难以衡量，因为你就是很主观
21:42.977–21:45.551
它不太容易 apple to apple compare。
21:45.551–21:47.779
明白。因为我看到的可能就是这些
21:47.779–21:51.066
Open Source 的 harness 的 framework
21:51.066–21:52.599
出来以后，大家测的第一步其实是测的
21:52.599–21:55.066
大家测的第一步其实是测的这个 token saving，就是看那个 cache 的 hit rate 到底是有多少。
21:55.066–21:57.837
hit rate 到底是有多少。就是你一个 harness
21:57.837–21:59.999
系统应该是能做到就是 95% 就可以到
21:59.999–22:03.311
那个 cache 上，这样就是 token cost 一下
22:03.311–22:05.584
就降下来了对吧。真正的那个你能不能
22:05.584–22:09.591
Deliver 那个 High Quality，可能还是要
22:09.591–22:12.150
靠那个模型本身。对，然后要靠那个 tool
22:12.150–22:14.676
拿回来的这个 quality 好不好。所以我的、
22:14.676–22:19.030
我可能看到就是说，可能在 cost saving
22:19.030–22:21.631
上面我觉得它可能会有一个比较大
22:21.631–22:25.005
的区别，但是 quality 可能打一个问号。
22:26.023–22:28.634
不管怎么说，现在刚才提到的话，现在
22:28.634–22:31.318
企业的整个 Agent 的正确率还是不够，
22:31.318–22:34.535
还是有很大的差距。虽然说有的一些的
22:34.535–22:38.503
业务流程它对正确率要求没有那么高，
22:38.503–22:43.091
那些就会更先落地；但是像那些对于正确率
22:43.091–22:46.599
要求很高、然后它又需要很低的 cost，
22:46.599–22:49.377
我觉得这里面的话还有很长的路要走。
22:49.377–22:52.520
说不定你专注做的，还是你做时间够长了，
22:52.520–22:55.662
可能就变成下一代的系统了。所以这个
22:55.662–22:59.591
可能也就朝着像所谓的叫做 AI Operating
22:59.591–23:03.302
System，就 AI 操作系统、Agent 操作系统。
23:03.302–23:06.387
对，还有一个名词叫企业 AI 操作系统。
23:06.387–23:08.896
那这些其实也都是我要这样一个概念，
23:08.896–23:10.867
说我要有一个这样一个环境，能让我
23:10.867–23:13.171
这些 Agent 去做我自己企业的事情。
23:13.171–23:16.163
确实是。我觉得可能就像我们刚才说这个
23:16.163–23:19.039
Pi 的例子哈，就是它是一个非常迷你版
23:19.039–23:23.055
的这么一个 harness，那它的受众可能更
23:23.055–23:26.396
多就是我们说开发者觉得，哎呀好小啊，
23:26.396–23:28.734
就非常 light weight 非常快就可以，
23:28.734–23:31.718
我作为一个开发者我可以去、去拓展它。
23:31.718–23:34.550
但可能对于一个社会来说，它可能更多的是
23:34.550–23:36.964
需要像你说的就是 Deepseek 这样样类型
23:36.964–23:39.463
的对吧。他可能要把这个不同的分层啊、
23:39.463–23:42.622
分级啊，把这个能、这个权力给他分开，
23:42.622–23:46.390
这样可能大家才会有真正的这种掌控感，
23:46.390–23:49.545
才能够相信这个模型它做的事情对不对。
23:49.545–23:52.345
我给你说一个就是我们做的一个
23:52.345–23:56.167
案例的 use case 很有趣。就是我们聊了
23:56.167–23:59.067
很多企业，他们其实会有自己的这个
23:59.067–24:02.451
叫商业逻辑 business logic，然后很多
24:02.451–24:04.851
这种 business logic 都是说我要先执行
24:04.851–24:06.645
第一步、执行第二步、再执行第三步，如果
24:06.645–24:09.862
遇到什么问题，就说我们说的 workflow。
24:09.862–24:13.008
然后我们让大模型就是说去理解这个，
24:13.008–24:16.317
看到比如他有这些 flow chart 也好、
24:16.317–24:19.727
写的这些 manual 也好，他去理解他都可以
24:19.727–24:22.362
做到非常好。但是当让一个大模型说你
24:22.362–24:25.410
按照这个东西去一步一步执行的时候，
24:25.410–24:28.105
大模型就挂掉了。我们虽然说很多模型
24:28.105–24:30.535
可以在做 instruction following 很正好，
24:30.535–24:34.708
但是到执行这种真正的、就是实打实的这种
24:34.708–24:37.750
API 然后一步一步执行，它就全都乱掉了，
24:37.750–24:42.101
它无法真正的去 follow 这个 instruction。
24:42.101–24:46.199
这个感觉这个地方就像你说的，可能需要
24:46.199–24:48.709
确实是有一个系统可以保证它对吧，
24:48.709–24:50.824
按部就班的把它执行好。当然我们说
24:50.824–24:53.794
codify 这个东西可能也是一个方式对吧。
24:53.794–24:57.951
还有举一个例子就是 payment 系统，以后
24:57.951–25:02.051
可能大家说拿 agent 去买东西或者什么的。
25:02.051–25:05.143
然后我聊了天的时候有个朋友遇到的
25:05.143–25:07.564
问题是说，他曾经有一次跟这个模型
25:07.564–25:11.137
他曾经有一次跟这个模型说这是我的 credit card number，然后这个大模型就下一次、就是他就直接会拿 credit card 去帮他结算了对吧。
25:11.137–25:15.155
这个大模型就下一次、就是他就直接就
25:15.155–25:17.987
会拿 credit card 去帮他结算了对吧。
25:17.987–25:22.402
就是这个东西因为做 decision 和执行的
25:22.402–25:25.988
发生在同一个层面对吧，他没有把他剥
25:25.988–25:29.475
离开，这个时候人就完全就 lose control
25:29.475–25:31.015
了对吧。我觉得好像企业包括我们
25:31.015–25:33.673
日常还有很多 work，我觉得是真正让
25:33.673–25:36.433
这个可以让他落地的话，有事情要做。
25:36.433–25:41.180
对，企业最大的问题是要上 scale 对吧。
25:41.180–25:44.657
你要是 99% 的正确率，100 次错一次它也
25:44.657–25:47.530
不能接受，就像你星巴克买咖啡 100 杯
25:47.530–25:50.560
做错一次，这也不太能接受。所以企业
25:50.560–25:54.066
的要求还是非常非常高的，对于他们
25:54.066–25:57.683
不仅是从企业的营收方面考虑，它还有
25:57.683–26:01.508
很多的 regulation constraints 对吧。
26:01.508–26:03.978
那些保险公司、银行，它有的非常非常具体
26:03.978–26:07.463
的机构，那都是涉及到 legal 问题，他会要
26:07.463–26:13.597
面临罚款，那是比较实打实这个 impact 吧。
26:13.597–26:16.904
但是如果你说你省的钱只是说少雇了
26:16.904–26:20.209
一些人的话，这个最后这个 ROI 还是不 work。
26:20.209–26:23.749
所以企业的话，我觉得这个 harness
26:23.749–26:26.929
肯定是需要还要升级迭代。然后我还也
26:26.929–26:31.889
我觉得这个 neurosymbolic 也会是其中一个很重要的一个互动。
26:31.889–26:35.286
一个很重要的一个互动。我不能想象
26:35.286–26:37.366
一个至少在企业环境里面一个没有
26:37.366–26:41.399
neurosymbolic 这样的一个 harness 系统
26:41.399–26:44.749
的存在，不管这个 model 能力提升有多高。
26:45.041–26:48.150
后来这个可能就是现在系统的一个 gap，
26:48.150–26:50.548
我们现在还没有看到一个非常有效的
26:50.548–26:54.481
系统可以做到这一点。你觉得这一块其实
26:54.481–26:58.023
可能是一个 one billion dollar question：
26:58.023–26:59.771
这个 harness 这个东西会不会真正
26:59.771–27:06.057
的就被模型吃掉呢？因为我们看之前、
27:06.057–27:08.882
刚才我们刚才也说到了这个，可能
27:08.882–27:12.438
这个 harness 跟模型一起 train 效果
27:12.438–27:14.902
更好对吧。那如果就说大模型公司说，
27:14.902–27:17.948
那这个 harness 包括我们想说的这些
27:17.948–27:20.780
在 wishlist 上面的东西他们都做到了，
27:20.780–27:23.885
是不是这一块蛋糕就就都没有了？
27:25.056–27:27.681
我觉得不太会，还是我还是觉得不太会。
27:27.681–27:29.839
因为还是像刚才说，我觉得 harness
27:29.839–27:31.657
系统里面有个重要的部分，就是这个
27:31.657–27:34.681
会有一个 neurosymbolic 系统的存在。
27:34.681–27:37.558
它还是要去 symbolify 很多很多事情，
27:37.558–27:40.744
一个原因在于它很高效，另外一个它
27:40.744–27:43.657
就是更能做到百分之百的 control。
27:43.657–27:47.041
所以的话我觉得大模型可以演化、可以演化
27:47.041–27:51.169
它的能力更强，它可能变得越来越高效。
27:51.169–27:55.372
但是从让我们变得更容易 control、更容易
27:55.372–27:57.558
让系统变得更 scalable 的话，我觉得这个
27:57.558–28:01.009
harness 系统还是必要存在的。你怎么看？
28:01.101–28:04.486
我跟你相反，我觉得可能这个东西要被
28:04.486–28:06.881
大模型吃掉。codify 那就是把你现在的
28:06.881–28:09.789
东西写成 code、code generation，我觉得
28:09.789–28:12.394
这个问题现在基本上解决了。然后我是
28:12.394–28:14.341
觉得我同意的一点就是没有解决的，
28:14.341–28:17.536
就是怎么做这种 permission escalation，
28:17.536–28:19.780
什么时候 agent 能够干这件事、不能
28:19.780–28:22.300
干这件事，可能还需要一个第三方
28:22.300–28:25.194
的一套系统或者 layer 介入对吧。
28:25.194–28:29.622
是不是 harness 的一部分我不太确定，至少
28:29.622–28:33.654
我现在来看的话，它可能是不在 harness
28:33.654–28:38.019
系统里面。其实我给你举个例子，像这个现在
28:38.019–28:41.721
CPU 芯片对吧，大家都认为 CPU 计算它绝对
28:41.721–28:44.724
不会出错，但是其实它也是电压控制。对。
28:44.724–28:46.004
他也会出错。
28:46.148–28:48.090
它还要是一个 validation 的东西，确保我这个 bit 是没有乱掉的。
28:48.090–28:50.821
确保我这个 bit 是没有乱掉的。然后呢
28:50.821–28:54.888
那个东西就是 harness。其实我觉得像
28:54.888–28:58.964
CPU 这么已经这么规模化、然后这么的、
28:59.144–29:01.440
这么稳定的一个东西，它也是需要这个
29:01.440–29:05.947
check 的系统的存在。所以我觉得包括电话
29:05.947–29:09.064
信号传输、高速信号传输，它全都会有一个……
29:09.064–29:09.764
对。
29:09.764–29:14.690
checksum。但是不、就是说用你的理论
29:14.690–29:17.465
打你的话，它就变成了 CPU 的一部分了。
29:17.465–29:20.587
你在卖 CPU 的时候你就可以卖这个系统对
29:20.587–29:24.844
吧，你说你可能要需要另外一套对吧。
29:24.844–29:27.887
这个东西会不会被这个 Open AI 吃掉？
29:27.887–29:30.864
确实像你说的可能会被它吃掉。它就是给
29:30.864–29:34.040
大模型的时候，以后大模型出来了就自带
29:34.040–29:37.666
harness，那我就配套来的，是很有可能发生
29:37.666–29:40.242
的吧。是不是需要一个通用的 harness？
29:40.242–29:42.305
或者说 harness 就会像变成 Checksum
29:42.305–29:44.289
这样的一个技术，就谁也不能 charge
29:44.289–29:46.016
钱了，因为它就是一个免费的东西。
29:46.016–29:48.699
就像 Internet 现在这个技术基本就是
29:48.699–29:51.339
免费的东西，也有可能变成这个样子。
29:51.339–29:55.739
终于 OK。好，我们这期 harness 就先聊到这里。
29:55.739–30:00.266
然后我们说两个上周发生的事情，我可以
30:00.266–30:03.915
先来。我先说的一个事就是打脸。我们其实
30:03.915–30:07.962
我们其实之前没过两期聊到 OpenRouter，它就被 Stripe 天价收购了，我们说它没有护城河，然后啪啪打脸，所以这个还是蛮有趣的。
30:07.962–30:12.532
Stripe 天价收购了，我们说它没有护城河，
30:12.532–30:17.179
然后啪啪打脸，所以这个还是蛮有趣的。
30:17.267–30:20.723
确实是，没有护城河也能卖六个 billion。
30:20.723–30:23.747
比如说你有 volume 对吧、有用户，我觉得
30:23.747–30:26.197
就可以。但是我也是瞎猜测，就是说毕竟
30:26.197–30:29.803
你看他们的 business model 很像，就是说
30:29.803–30:32.568
都是做这种平台中枢型的东西对吧，
30:32.568–30:36.398
然后集散。只不过 Stripe 并没有说是
30:36.398–30:39.359
在核心的这个 GenAI 的赛道，它通过
30:39.359–30:41.974
这个可能也就是说拓宽了它这个赛道，
30:41.974–30:45.631
并且可以 diversify 它的 business。
30:45.631–30:47.905
我觉得可能还是这个 Stripe 比较
30:47.905–30:52.072
desperate，他就是想要讲一个 AI 的 story，
30:52.072–30:55.676
然后也是找了一个这么一个非常 unique、
30:55.676–30:57.789
像你说的一种非常契合的一个东西，
30:57.789–31:00.241
他们作为其入口。相当于就是花六个
31:00.241–31:03.338
billion 买一个机会，说不定这个
31:03.338–31:06.191
下个季度财报就把这钱挣回来了。
31:06.191–31:10.831
可以看看他们怎么去运行。
31:10.831–31:13.451
咱们如果是到时候他们 CEO
31:13.451–31:15.451
上来讲这事，咱们会回答。
31:17.583–31:21.497
然后我可能要讲的话，就是这周的话
31:21.497–31:27.112
NVidia 宣布他们要投入 6 个 billion，这是真金白银 6 个 billion 去做 open weights model。
31:27.112–31:30.775
这是真金白银 6 个 billion 去做 open
31:30.775–31:34.117
weights model。他们的口号要做最好的 US
31:34.117–31:38.177
的 open weight model，我觉得这个让我看到
31:38.177–31:41.663
还是挺振奋人心的。然后连着这个的话，
31:41.663–31:43.708
说不定他们下一步就会 launch 一个
31:43.708–31:45.943
Nvidia 版本的 harness system 给大家用。
31:45.943–31:47.218
有可能，有可能。
31:47.218–31:49.469
我觉得还蛮看好的，因为之前还有不少
31:49.469–31:52.288
的谷歌的同事都跑到了 NVidia，对。
31:52.288–31:54.647
然后包括他们的一个 Infra 啊、
31:54.647–31:57.527
Training 啊，对，所以还挺拭目以待的。
31:57.527–31:59.825
现在我们用 Nemotron 体验就特别好。
31:59.825–32:02.872
现在我们有个 Spark 那个机器，DGX 的 Spark，
32:02.872–32:06.271
那个机器跑那个千问 3.8，就比那个那个
32:06.271–32:10.767
Nemotron 慢很多，就慢将近 10 倍左右。
32:10.767–32:13.567
好的，我们这期就聊到这里，大家拜拜。
32:13.567–32:14.567
拜拜。
0:08.000–0:10.113
zh哈喽大家好，我是 Lewis。
哈喽大家好，我是 Lewis。
0:10.113–0:11.201
zh大家好，我是 Will。
大家好，我是 Will。
0:11.201–0:13.750
zh这期我们其实想接着上次，我们留
这期我们其实想接着上次，我们留
0:13.750–0:16.294
zh了一个话题，是说讲 agent harness。
了一个话题，是说讲 agent harness。
0:16.294–0:18.756
zh然后 agent harness 最近也是非常的火，
然后 agent harness 最近也是非常的火，
0:18.756–0:21.906
zh感觉这一波是 Deepseek 带起来的。
感觉这一波是 Deepseek 带起来的。
0:21.906–0:24.206
zh他把自己的这套 core 的 harness 给
他把自己的这套 core 的 harness 给
0:24.206–0:26.295
zhopen source 了，然后一下就点爆了
open source 了，然后一下就点爆了
0:26.295–0:29.794
zh这个 community，大家就开始试它。
这个 community，大家就开始试它。
0:29.794–0:32.080
zh这个东西不如我们先给大家来说一说，
这个东西不如我们先给大家来说一说，
0:32.080–0:35.040
zhagent harness 到底是什么。我的理解的话呢，
agent harness 到底是什么。我的理解的话呢，
0:35.040–0:37.775
zh这个 harness 还是非常重要的一个环节，
这个 harness 还是非常重要的一个环节，
0:37.775–0:40.885
zh就特别是在 agent 这个年代。咱先说它
就特别是在 agent 这个年代。咱先说它
0:40.885–0:44.309
zh功能性上来说的话，它提到的一个最大的、
功能性上来说的话，它提到的一个最大的、
0:44.309–0:48.259
zh提供一个最大的一个价值在于，以前的话呢，
提供一个最大的一个价值在于，以前的话呢，
0:48.259–0:52.275
zh大家认为这个 agent 都是这种对话式的，
大家认为这个 agent 都是这种对话式的，
0:52.275–0:55.487
zh他做任务都是一件事一件事，就就说我要
他做任务都是一件事一件事，就就说我要
0:55.487–0:59.372
zh生成一个 doc、生成一个 image。但是的话，
生成一个 doc、生成一个 image。但是的话，
0:59.372–1:03.488
zh就是这个 harness 就变、就是让这个 agent 能
就是这个 harness 就变、就是让这个 agent 能
1:03.488–1:06.453
zhrun 这种 long horizon task，就是几个小时
run 这种 long horizon task，就是几个小时
1:06.453–1:08.648
zh的这种 task。然后整个过程当中，它需要
的这种 task。然后整个过程当中，它需要
1:08.648–1:12.155
zh一个一整套的 evaluation validation
一个一整套的 evaluation validation
1:12.155–1:15.045
zh然后 self correction，这一套的机制能
然后 self correction，这一套的机制能
1:15.045–1:18.125
zh保证它能做一个更长的 task。我的从功能
保证它能做一个更长的 task。我的从功能
1:18.125–1:20.766
zh上理解是这样理解的，我不知道你怎么看。
上理解是这样理解的，我不知道你怎么看。
1:20.766–1:22.903
zh从产品来说吧，我觉得可能就是说，
从产品来说吧，我觉得可能就是说，
1:22.903–1:25.817
zh大家刚开始做这个大语言模型，可能更
大家刚开始做这个大语言模型，可能更
1:25.817–1:28.657
zh多的就是看这个叫什么，这个光标对吧，
多的就是看这个叫什么，这个光标对吧，
1:28.657–1:31.461
zh就是我打进去一个一个问题，然后你模型
就是我打进去一个一个问题，然后你模型
1:31.461–1:33.972
zh给我一个答案，这可能是第一个雏形。
给我一个答案，这可能是第一个雏形。
1:33.972–1:35.450
zh那个时候就是比较热门的就是叫
那个时候就是比较热门的就是叫
1:35.450–1:38.428
zhprompt engineering 对吧，大家想怎么把
prompt engineering 对吧，大家想怎么把
1:38.428–1:41.568
zh这个 prompt 写好。然后当时其实我们内部
这个 prompt 写好。然后当时其实我们内部
1:41.568–1:45.424
zh还在说，每一个模型它都有自己的个性，
还在说，每一个模型它都有自己的个性，
1:45.424–1:48.409
zh所以你用你自己的一套 prompt 去跟
所以你用你自己的一套 prompt 去跟
1:48.409–1:52.185
zhOpenAI 说话，再去跟 Gemini 说话，他的理解
OpenAI 说话，再去跟 Gemini 说话，他的理解
1:52.185–1:54.673
zh不太一样。所以当时模型能力也是受限，
不太一样。所以当时模型能力也是受限，
1:54.673–1:56.748
zh所以我们说 prompt engineering。对，后来
所以我们说 prompt engineering。对，后来
1:56.748–1:58.552
zh就变成了叫 context engineering 对吧。
就变成了叫 context engineering 对吧。
1:58.552–2:00.971
zhcontext engineering 就是说你怎么把
context engineering 就是说你怎么把
2:00.971–2:03.598
zh合适的东西放在 prompt 里面，然后让
合适的东西放在 prompt 里面，然后让
2:03.598–2:06.421
zh模型可以更有效。这个时候我觉得好像
模型可以更有效。这个时候我觉得好像
2:06.421–2:09.414
zh大家还都是在做怎么回答好一个问题。
大家还都是在做怎么回答好一个问题。
2:09.414–2:12.233
zh现在我觉得就是说，我们一直得强调
现在我觉得就是说，我们一直得强调
2:12.233–2:15.229
zhROI 对吧，就是说企业要买模型然后
ROI 对吧，就是说企业要买模型然后
2:15.229–2:17.802
zh部署这个东西，他要的是能够落地，
部署这个东西，他要的是能够落地，
2:17.802–2:20.758
zh他能让模型真正的去做一些任务。
他能让模型真正的去做一些任务。
2:20.758–2:24.802
zh一旦做任务的话，就不只是简单是拿一个
一旦做任务的话，就不只是简单是拿一个
2:24.802–2:27.890
zh这个叫什么答案回来了，那他就可以要、
这个叫什么答案回来了，那他就可以要、
2:27.890–2:31.904
zh要去执行代码对吧，要去 call API，然后要
要去执行代码对吧，要去 call API，然后要
2:31.904–2:35.565
zh保证这些东西能够安全然后合规对吧。
保证这些东西能够安全然后合规对吧。
2:35.565–2:38.162
zh这个 Harness 其实就是衍生出来的这
这个 Harness 其实就是衍生出来的这
2:38.162–2:41.419
zh一套在模型外面的系统，能够更好的、就是
一套在模型外面的系统，能够更好的、就是
2:41.419–2:44.253
zh让这种像你刚刚说了这个可以跑很多
让这种像你刚刚说了这个可以跑很多
2:44.253–2:47.223
zh天的这种这种任务对吧，能够真正落地。
天的这种这种任务对吧，能够真正落地。
2:47.223–2:50.353
zh我觉得就是说，可能他就是帮人们从一个
我觉得就是说，可能他就是帮人们从一个
2:50.353–2:54.984
zh简单的一个模型扩展到了一个一个系统。
简单的一个模型扩展到了一个一个系统。
2:55.609–2:58.322
zh所以我是一个自然的 agent 发展的过来
所以我是一个自然的 agent 发展的过来
2:58.322–3:00.291
zh一个，在我眼里的话，不觉得它是一个
一个，在我眼里的话，不觉得它是一个
3:00.291–3:03.110
zh新生物种。我觉得它就是一个 agent 在
新生物种。我觉得它就是一个 agent 在
3:03.110–3:06.380
zh自我发展的过程当中自然而然产生
自我发展的过程当中自然而然产生
3:06.380–3:10.809
zh的一个更系统化、更复杂、更大规模、
的一个更系统化、更复杂、更大规模、
3:10.809–3:14.598
zh更 engineering 的一个系统组件吧。
更 engineering 的一个系统组件吧。
3:14.598–3:18.047
zh对，这就是一个就像你说的，在每一个发展的
对，这就是一个就像你说的，在每一个发展的
3:18.047–3:20.430
zh阶段，好像大家意识到一个新的问题对吧。
阶段，好像大家意识到一个新的问题对吧。
3:20.430–3:22.856
zh遇到一个新的问题，我们再给它起一个名字，
遇到一个新的问题，我们再给它起一个名字，
3:22.856–3:24.774
zh把它当成一个问题然后来解决对吧。
把它当成一个问题然后来解决对吧。
3:24.774–3:27.826
zh可能在当前那个阶段，现在大家要讲求它
可能在当前那个阶段，现在大家要讲求它
3:27.826–3:31.227
zh可以帮你去、就是自动化这些 task 对吧，
可以帮你去、就是自动化这些 task 对吧，
3:31.227–3:34.677
zh那 harness 就产生了。那我们不如来说
那 harness 就产生了。那我们不如来说
3:34.677–3:39.282
zh一说 Deepseek 它做的 harness 系统。
一说 Deepseek 它做的 harness 系统。
3:39.282–3:42.717
zhDeepseek 好像它 Open Source 大家都非常
Deepseek 好像它 Open Source 大家都非常
3:42.717–3:45.434
zh喜欢的原因，是它把它变成了模组化，
喜欢的原因，是它把它变成了模组化，
3:45.434–3:49.762
zh好像每一个都是一个 plugin、都是一个
好像每一个都是一个 plugin、都是一个
3:49.762–3:52.872
zh插件，然后大家都可以用来不同的
插件，然后大家都可以用来不同的
3:52.872–3:56.466
zh组件来更换。这个的话是不是对企业、
组件来更换。这个的话是不是对企业、
3:56.466–3:59.622
zh对很多开发的时候就有很大的帮助？
对很多开发的时候就有很大的帮助？
3:59.622–4:04.078
zh对，从本质上的话，就把 harness 这个
对，从本质上的话，就把 harness 这个
4:04.078–4:07.389
zh事情变得更容易 engineering 了，
事情变得更容易 engineering 了，
4:07.389–4:09.869
zh就变得更容易去拆组，然后根据自己
就变得更容易去拆组，然后根据自己
4:09.869–4:13.822
zh的需求然后调整 harness 的 behavior。
的需求然后调整 harness 的 behavior。
4:13.822–4:16.222
zh像以前的话大家都是在 Agent Loop 里面
像以前的话大家都是在 Agent Loop 里面
4:16.222–4:19.591
zh加一些 tool、加一些 command、加一些
加一些 tool、加一些 command、加一些
4:19.591–4:23.950
zhpermission check 这些事情，但是它
permission check 这些事情，但是它
4:23.950–4:28.118
zh没有更系统化的去把整个 Agent Loop
没有更系统化的去把整个 Agent Loop
4:28.118–4:32.496
zh里面不同的组件可以任意地搭配起来。
里面不同的组件可以任意地搭配起来。
4:33.158–4:36.575
zh其实我们之前好像讲 memory 那期也涉及
其实我们之前好像讲 memory 那期也涉及
4:36.575–4:39.556
zh到了这些方面的话题。我们通常来说这个
到了这些方面的话题。我们通常来说这个
4:39.556–4:43.765
zhAgent Loop 是比较简单的，就说你有没有
Agent Loop 是比较简单的，就说你有没有
4:43.765–4:47.599
zh达到最终的目标、也完成这个任务，没完成
达到最终的目标、也完成这个任务，没完成
4:47.599–4:50.798
zh你就自动去、自己去发现为什么没有完成。
你就自动去、自己去发现为什么没有完成。
4:50.798–4:53.427
zh在这个过程中的话，就需要这种不同
在这个过程中的话，就需要这种不同
4:53.427–4:56.337
zh的组件然后去支持它完成这件事情。
的组件然后去支持它完成这件事情。
4:56.337–4:59.597
zh所以可能这种模块化的话，就让这种
所以可能这种模块化的话，就让这种
4:59.597–5:04.040
zh工程学来说更容易，大家只需要用同样
工程学来说更容易，大家只需要用同样
5:04.040–5:07.683
zh的这么一个模板，对，把适应、对应的这些
的这么一个模板，对，把适应、对应的这些
5:07.683–5:10.446
zh东西拿进来，它很容易就可以工作了。
东西拿进来，它很容易就可以工作了。
5:10.446–5:15.627
zh对，其实就是把 agent 的一些 best practice
对，其实就是把 agent 的一些 best practice
5:15.627–5:18.186
zh以一种可拼装的形式组在一起。
以一种可拼装的形式组在一起。
5:18.638–5:21.697
zh你觉得这个 Deepseek 为什么会 open source
你觉得这个 Deepseek 为什么会 open source
5:21.697–5:23.482
zh这个？因为你像我们之前内部的话，曾经
这个？因为你像我们之前内部的话，曾经
5:23.482–5:26.191
zh还有一段时间看这个 Claude Code 对吧，
还有一段时间看这个 Claude Code 对吧，
5:26.191–5:28.147
zh他做了这个 managed agent，然后大家
他做了这个 managed agent，然后大家
5:28.147–5:30.097
zh都说，哇，他这个 harness 做的真不错。
都说，哇，他这个 harness 做的真不错。
5:30.097–5:32.610
zh他就会觉得这个 harness 感觉是
他就会觉得这个 harness 感觉是
5:32.610–5:34.838
zh又是一个下一个风口对吧，所以要
又是一个下一个风口对吧，所以要
5:34.838–5:37.720
zh赶快去做这件事。但是这个 Deepseek
赶快去做这件事。但是这个 Deepseek
5:37.720–5:40.258
zh直接就把他自己的这一套给开源了。
直接就把他自己的这一套给开源了。
5:40.814–5:43.847
zh我当时看到开源的时候，我主要是
我当时看到开源的时候，我主要是
5:43.847–5:46.739
zh当时的思考逻辑就是说，他把它、因为
当时的思考逻辑就是说，他把它、因为
5:46.739–5:50.620
zhDeepseek 他们是开源模型对吧，他是模型。
Deepseek 他们是开源模型对吧，他是模型。
5:50.620–5:53.240
zh一般的人都不会自己在、不会用这个
一般的人都不会自己在、不会用这个
5:53.240–5:55.876
zh一般的人都不会自己在、不会用这个 Deepseek 自己的提供 API 去用这些大模型，或者用 Deepseek 的 service 去用这些大模型，他可能在任意地方去 serve。
一般的人都不会自己在、不会用这个 Deepseek 自己的提供 API 去用这些大模型，或者用 Deepseek 的 service 去用这些大模型，他可能在任意地方去 serve。
5:55.876–5:58.222
zh或者用 Deepseek 的 service 去用这些
或者用 Deepseek 的 service 去用这些
5:58.222–5:59.955
zh大模型，他可能在任意地方去 serve。
大模型，他可能在任意地方去 serve。
5:59.955–6:01.994
zh他一旦自己 serve 这些 model 的时候，
他一旦自己 serve 这些 model 的时候，
6:01.994–6:03.519
zh他就会面临一个问题：那我用什么样的
他就会面临一个问题：那我用什么样的
6:03.519–6:06.118
zhharness environment 去做这件事情？
harness environment 去做这件事情？
6:06.118–6:09.621
zh你也可以用 OpenAI 的，你也可以用 Claude，
你也可以用 OpenAI 的，你也可以用 Claude，
6:09.621–6:12.420
zh但是可能最好的就不如用一个它自、这个
但是可能最好的就不如用一个它自、这个
6:12.420–6:15.677
zhDeepseek 调制好的这样的一个 harness。
Deepseek 调制好的这样的一个 harness。
6:15.677–6:17.894
zh这样的话，大家对于这个 Deepseek 这个
这样的话，大家对于这个 Deepseek 这个
6:17.894–6:20.089
zhmodel，特别是那些小一点 weights
model，特别是那些小一点 weights
6:20.089–6:22.168
zh的 model、小一点的 model，可能就是
的 model、小一点的 model，可能就是
6:22.168–6:24.296
zh使用体验会好很多。所以整体来说，
使用体验会好很多。所以整体来说，
6:24.296–6:26.614
zh可能就是这个能 help 他们的 adoption。
可能就是这个能 help 他们的 adoption。
6:26.614–6:29.313
zh对，我们刚才提出说到一点我还觉得挺、
对，我们刚才提出说到一点我还觉得挺、
6:29.313–6:32.320
zh就突然我想到了哈，就是用 Deepseek
就突然我想到了哈，就是用 Deepseek
6:32.320–6:34.377
zh的很多企业，可能他真的不会去、
的很多企业，可能他真的不会去、
6:34.377–6:37.978
zh就是去 call 这个 Deepseek 的 API 对吧。
就是去 call 这个 Deepseek 的 API 对吧。
6:37.978–6:39.987
zh他可能觉得不、这个对吧，不太信任。
他可能觉得不、这个对吧，不太信任。
6:39.987–6:43.288
zh反而他可能就是把这个 open weights model
反而他可能就是把这个 open weights model
6:43.288–6:45.745
zh用在自己的数据中心，或者是其他的云
用在自己的数据中心，或者是其他的云
6:45.745–6:48.665
zh对吧。那这个时候他就非常的独立了，
对吧。那这个时候他就非常的独立了，
6:48.665–6:51.178
zh那这个时候他就非常的独立了，那他就等于这个、这个系统没有。
那这个时候他就非常的独立了，那他就等于这个、这个系统没有。
6:51.178–6:53.230
zh那对于 Deepseek 来说，那可能我把这
那对于 Deepseek 来说，那可能我把这
6:53.230–6:56.551
zh一部分也开源了，也是他唯一的途径。
一部分也开源了，也是他唯一的途径。
6:56.568–7:01.334
zh要不然他也很难说有一套像 Claude
要不然他也很难说有一套像 Claude
7:01.334–7:03.746
zh一样，他做一个 managed service，
一样，他做一个 managed service，
7:03.746–7:05.036
zh大家可能也很难信任他，然后去
大家可能也很难信任他，然后去
7:05.036–7:07.104
zh把这个服务 run 在他这个上面。
把这个服务 run 在他这个上面。
7:07.104–7:11.341
zh其实 Deepseek 的 CEO 梁文锋之前在一次
其实 Deepseek 的 CEO 梁文锋之前在一次
7:11.341–7:13.693
zh的这个泄露的内部会议上面，其实提到
的这个泄露的内部会议上面，其实提到
7:13.693–7:16.384
zh过一次，他们说他们就要专注、专注于做
过一次，他们说他们就要专注、专注于做
7:16.384–7:20.711
zhgeneric 大模型，其实没有提到这个 harness。
generic 大模型，其实没有提到这个 harness。
7:20.711–7:22.887
zh然后我觉得他们现在把这个放出来，
然后我觉得他们现在把这个放出来，
7:22.887–7:26.340
zh不知道是他们以后就要专注这个方向、
不知道是他们以后就要专注这个方向、
7:26.340–7:28.508
zh然后持续放出来这个东西，还是说我这
然后持续放出来这个东西，还是说我这
7:28.508–7:30.845
zh东西做了一个版本把它 open source
东西做了一个版本把它 open source
7:30.845–7:33.324
zh出去，不做我们一个拳头产品做研发。
出去，不做我们一个拳头产品做研发。
7:33.404–7:36.498
zh你这个角度很有趣，其实也可以是我们下
你这个角度很有趣，其实也可以是我们下
7:36.498–7:39.417
zh一个话题：这东西为什么就突然火了对吧？
一个话题：这东西为什么就突然火了对吧？
7:39.417–7:42.025
zh是不是因为这些像你说 Deepseek 这些
是不是因为这些像你说 Deepseek 这些
7:42.025–7:44.802
zh大模型公司突然发现，好像模型卷的东西
大模型公司突然发现，好像模型卷的东西
7:44.802–7:48.162
zh不多了，然后这个外边有好多新的一个领域
不多了，然后这个外边有好多新的一个领域
7:48.162–7:51.904
zh可以去卷，然后所以大家都开始做 harness。
可以去卷，然后所以大家都开始做 harness。
7:53.308–7:56.906
zh其实我觉得在应用环境当中，除了这非常
其实我觉得在应用环境当中，除了这非常
7:56.906–8:02.498
zhgeneric 的 task，harness 这个东西还是
generic 的 task，harness 这个东西还是
8:02.498–8:05.976
zh非常复杂的。包括我内部的 API 怎么调用，
非常复杂的。包括我内部的 API 怎么调用，
8:05.976–8:08.459
zh假如你一个公司内部开发了某一个 API，
假如你一个公司内部开发了某一个 API，
8:08.459–8:11.008
zh或者说某一个 validation 那个东西，或者
或者说某一个 validation 那个东西，或者
8:11.008–8:14.865
zh某个 rule，这些大模型其实很难知道的。
某个 rule，这些大模型其实很难知道的。
8:14.865–8:17.719
zh然后这些 API 可能定义的非常的不直觉，
然后这些 API 可能定义的非常的不直觉，
8:17.719–8:21.908
zh也非常不符合这个 semantic 的定义，就需要
也非常不符合这个 semantic 的定义，就需要
8:21.908–8:25.320
zh去做这个 harness。以前大家做法就是说，
去做这个 harness。以前大家做法就是说，
8:25.320–8:27.808
zh要不就写在 prompt 里面我这里面都有什么
要不就写在 prompt 里面我这里面都有什么
8:27.808–8:30.265
zh东西，然后后来做 context engineering，
东西，然后后来做 context engineering，
8:30.265–8:33.604
zh就是我写一些 skills 把这些说清楚。
就是我写一些 skills 把这些说清楚。
8:33.604–8:35.596
zh现在更进阶的办法，就是我把这些东西都
现在更进阶的办法，就是我把这些东西都
8:35.596–8:38.122
zh编制在我的 harness environment 里面，才能
编制在我的 harness environment 里面，才能
8:38.122–8:41.820
zh让我系统化的开发所有 agent 都比较好用。
让我系统化的开发所有 agent 都比较好用。
8:41.820–8:44.258
zh所以这可能也是我们为什么看到多数的
所以这可能也是我们为什么看到多数的
8:44.258–8:47.753
zhharness 的系统现在还都是在 coding agent
harness 的系统现在还都是在 coding agent
8:47.753–8:50.120
zh上。可能你要是做这种企业的部署，这
上。可能你要是做这种企业的部署，这
8:50.120–8:54.120
zhvertical 这种垂直领域的还是比较难。
vertical 这种垂直领域的还是比较难。
8:54.460–8:56.867
zh说到这个头，其实 harness 它对于企业
说到这个头，其实 harness 它对于企业
8:56.867–8:58.791
zh的一部分需求解决挺好的。就是说这种
的一部分需求解决挺好的。就是说这种
8:58.791–9:01.867
zhquality 来看，就是刚才说是 coding 嘛。
quality 来看，就是刚才说是 coding 嘛。
9:01.867–9:04.600
zh他 coding 大家现在看的主要还是这个
他 coding 大家现在看的主要还是这个
9:04.600–9:06.840
zhquality 怎么样，因为都是 human in the loop，
quality 怎么样，因为都是 human in the loop，
9:06.840–9:08.874
zh不会太会让这个 coding 完全自动化。
不会太会让这个 coding 完全自动化。
9:08.874–9:11.150
zh你最后还是要看一下，哪怕我不看 code，
你最后还是要看一下，哪怕我不看 code，
9:11.150–9:12.940
zh我也要看一下这个生产的 app 的结果。
我也要看一下这个生产的 app 的结果。
9:12.940–9:15.540
zh所以说结果更重要、效率更重要，
所以说结果更重要、效率更重要，
9:15.540–9:18.340
zh我结果正确概率越大，觉得越好用。
我结果正确概率越大，觉得越好用。
9:24.414–9:26.981
zh企业它很多这种自动化的要求的话，
企业它很多这种自动化的要求的话，
9:26.981–9:30.393
zh它希望这东西就是帮我把它做对，
它希望这东西就是帮我把它做对，
9:30.393–9:33.085
zh那这个就需要很大的 guarantee，或者
那这个就需要很大的 guarantee，或者
9:33.085–9:35.404
zh是 follow 某一个 rule，永远都要 follow
是 follow 某一个 rule，永远都要 follow
9:35.404–9:38.454
zh这个 rule，那不 follow 的话就是不可以的。
这个 rule，那不 follow 的话就是不可以的。
9:38.454–9:40.395
zh那这种情况下，在 harness、这种通常的这
那这种情况下，在 harness、这种通常的这
9:40.395–9:43.674
zhharness 的并没有实际的解决这类问题。
harness 的并没有实际的解决这类问题。
9:44.252–9:47.965
zh其实也就是说，harness 并不能够真正的把
其实也就是说，harness 并不能够真正的把
9:47.965–9:52.493
zh一个可以重复反复的这种 workflow 变成
一个可以重复反复的这种 workflow 变成
9:52.493–9:57.038
zh一种、就是更 deterministic 这种情况对吧。
一种、就是更 deterministic 这种情况对吧。
9:57.038–10:00.554
zh它还是等于做了很多的希望能够让它
它还是等于做了很多的希望能够让它
10:00.554–10:04.220
zh变成更可靠，但是事实上还是会出现各种
变成更可靠，但是事实上还是会出现各种
10:04.220–10:06.245
zh问题。所以如果说用咱以前说的这个
问题。所以如果说用咱以前说的这个
10:06.245–10:09.164
zhavailability 是几个 9 嘛是吧，我觉得
availability 是几个 9 嘛是吧，我觉得
10:09.164–10:12.514
zh我觉得现在可能就是一个 9 的状态，90% 做对，但是企业可能需要三个 9、四个 9，但一直都 是这样子，所以还是有很大的距离要做。
我觉得现在可能就是一个 9 的状态，90% 做对，但是企业可能需要三个 9、四个 9，但一直都 是这样子，所以还是有很大的距离要做。
10:12.514–10:15.660
zh但是企业可能需要三个 9、四个 9，但一直都
但是企业可能需要三个 9、四个 9，但一直都
10:15.660–10:18.784
zh是这样子，所以还是有很大的距离要做。
是这样子，所以还是有很大的距离要做。
10:19.068–10:21.766
zh对，确实是。因为像我们内部当时在做这个
对，确实是。因为像我们内部当时在做这个
10:21.766–10:24.981
zhAgent Memory 的 benchmark，我们开源的
Agent Memory 的 benchmark，我们开源的
10:24.981–10:27.433
zh一个东西叫 State-bench，对，之前有说过。
一个东西叫 State-bench，对，之前有说过。
10:27.433–10:30.345
zh其实我们另外定义了一个 metrics，
其实我们另外定义了一个 metrics，
10:30.345–10:33.050
zh就是 run 同一个 task run 五遍，看看你
就是 run 同一个 task run 五遍，看看你
10:33.050–10:35.284
zh是不是都能拿到同样的结果对吧。
是不是都能拿到同样的结果对吧。
10:35.284–10:38.265
zh就是如果你发现这个有起伏，那就说明
就是如果你发现这个有起伏，那就说明
10:38.265–10:40.991
zh你这一套 workflow 定义的 harness 就
你这一套 workflow 定义的 harness 就
10:40.991–10:44.744
zh不够，对 enterprise 里面就不够可靠。
不够，对 enterprise 里面就不够可靠。
10:44.744–10:47.368
zh5 次都做对，其实也不是那么可靠听起来。
5 次都做对，其实也不是那么可靠听起来。
10:47.368–10:50.754
zh哈哈。哈哈，对。那这个东西是吧，你要做到多少？
哈哈。哈哈，对。那这个东西是吧，你要做到多少？
10:50.754–10:54.688
zh这个三个 9，那就得 run 多少次，就几万次可能。
这个三个 9，那就得 run 多少次，就几万次可能。
10:55.624–10:58.891
zh感觉整个就算 harness 现在我们想到的
感觉整个就算 harness 现在我们想到的
10:58.891–11:01.827
zh这个雏形就做到非常好，也很难去解决这个
这个雏形就做到非常好，也很难去解决这个
11:01.827–11:04.904
zh真正 enterprise 里面的这些部署问题。
真正 enterprise 里面的这些部署问题。
11:04.904–11:05.604
zh对。
对。
11:05.604–11:09.866
zh所以我觉得这个 harness 本身的话，
所以我觉得这个 harness 本身的话，
11:09.866–11:12.280
zh那可能是至少跟现在的这种方式，
那可能是至少跟现在的这种方式，
11:12.280–11:14.454
zh可能不足以解决 enterprise 的问题。
可能不足以解决 enterprise 的问题。
11:14.454–11:16.932
zh那你说下一个东西能解决 enterprise 的
那你说下一个东西能解决 enterprise 的
11:16.932–11:19.245
zh问题是不是叫 harness？又会起一个新的
问题是不是叫 harness？又会起一个新的
11:19.245–11:22.956
zh名字对吧。可能现在有叫 Control plane。
名字对吧。可能现在有叫 Control plane。
11:22.956–11:25.196
zhloop engineering 算不算？
loop engineering 算不算？
11:25.196–11:26.596
zh有 loop engineering。
有 loop engineering。
11:26.596–11:29.407
zh还有 governance 对吧。然后这些
还有 governance 对吧。然后这些
11:29.407–11:31.456
zh东西可能就是下一代东西能
东西可能就是下一代东西能
11:31.456–11:33.656
zh帮助企业把这个确实做好。
帮助企业把这个确实做好。
11:33.996–11:38.144
zh其实我们前一期录的时候我有分享一点。
其实我们前一期录的时候我有分享一点。
11:38.144–11:41.085
zh我觉得像 Deepseek 的这种方式，它把所有
我觉得像 Deepseek 的这种方式，它把所有
11:41.085–11:44.536
zh的东西都变成一个 plugin，然后这个其实
的东西都变成一个 plugin，然后这个其实
11:44.536–11:47.445
zh是我觉得是相信大模型的一个做法。
是我觉得是相信大模型的一个做法。
11:47.445–11:51.308
zh它甚至连 agent loop 你都可以换掉，
它甚至连 agent loop 你都可以换掉，
11:51.308–11:54.248
zh当然这是需要人去换。我们当时做的
当然这是需要人去换。我们当时做的
11:54.248–11:58.499
zhmemory 就是说，大模型可能不能够很
memory 就是说，大模型可能不能够很
11:58.499–12:02.686
zh稳定的去 call memory，我要做一个
稳定的去 call memory，我要做一个
12:02.686–12:05.096
zhknowledge base 的种 retrieval 什么时候，
knowledge base 的种 retrieval 什么时候，
12:05.096–12:07.763
zh我就 hard code 进去，每次都做，保证一定
我就 hard code 进去，每次都做，保证一定
12:07.763–12:11.344
zh会有这个 context。这个其实大家就等于
会有这个 context。这个其实大家就等于
12:11.344–12:14.219
zh在这个 loop 里面做了很多很多工作。
在这个 loop 里面做了很多很多工作。
12:14.219–12:17.527
zh现在这么看来的话，就说 Deepseek 的这个
现在这么看来的话，就说 Deepseek 的这个
12:17.527–12:20.381
zh角度，它就很明确的是说我们放权了对吧，
角度，它就很明确的是说我们放权了对吧，
12:20.381–12:25.814
zh让大模型、让 intelligence 去 lead the way。
让大模型、让 intelligence 去 lead the way。
12:25.814–12:29.590
zh这个我觉得还是、我觉得还是怎么说，我
这个我觉得还是、我觉得还是怎么说，我
12:29.590–12:31.751
zh觉得从他的角度来，他做这件事非常合理，
觉得从他的角度来，他做这件事非常合理，
12:31.751–12:34.456
zh作为一个 open source、相信一个未来的角度。
作为一个 open source、相信一个未来的角度。
12:34.456–12:36.586
zh对。对于 enterprise，可能大家现在
对。对于 enterprise，可能大家现在
12:36.586–12:38.574
zh还是会说我都 hardcode 起来，
还是会说我都 hardcode 起来，
12:38.574–12:40.876
zh这样就更确定性更高一点。
这样就更确定性更高一点。
12:41.870–12:44.921
zh对，所以其实你提到这个所有东西，
对，所以其实你提到这个所有东西，
12:44.921–12:46.882
zh对于我们来说都特别兴奋的。就是说，
对于我们来说都特别兴奋的。就是说，
12:46.882–12:48.971
zh因为我们在做 self improving agent，
因为我们在做 self improving agent，
12:48.971–12:51.936
zh就自我迭代嘛，那你要是能系统性的
就自我迭代嘛，那你要是能系统性的
12:51.936–12:55.806
zh决定你所有东西都是可以自我调整的，
决定你所有东西都是可以自我调整的，
12:55.806–12:59.633
zh那就会有最大的 flexibility。就像基因
那就会有最大的 flexibility。就像基因
12:59.633–13:02.435
zh对吧，你所有的这个链组都是可以改的，
对吧，你所有的这个链组都是可以改的，
13:02.435–13:05.118
zh那你就是进化就无限的可能对吧。
那你就是进化就无限的可能对吧。
13:05.118–13:08.531
zh所以就是看到他们这样做的时候觉得，
所以就是看到他们这样做的时候觉得，
13:08.531–13:10.943
zh哦，这个还是有人跟我们想的思路挺
哦，这个还是有人跟我们想的思路挺
13:10.943–13:13.865
zh像的，就认为所有东西都是可以改的。
像的，就认为所有东西都是可以改的。
13:13.865–13:17.154
zh但是现在还没有看到改这个 model 自己的
但是现在还没有看到改这个 model 自己的
13:17.154–13:20.674
zharchitecture、自己 weights 的这个事情，
architecture、自己 weights 的这个事情，
13:20.674–13:22.726
zh可能把这个 fine-tuning 的这东西加进去
可能把这个 fine-tuning 的这东西加进去
13:22.726–13:24.703
zh之后，它的连接 model 自己也可以改自己。
之后，它的连接 model 自己也可以改自己。
13:24.703–13:28.643
zh对，这个主要就是叫什么时间 compute 对吧？
对，这个主要就是叫什么时间 compute 对吧？
13:28.743–13:30.950
zh这个可能现在还不是特别 feasible。对，
这个可能现在还不是特别 feasible。对，
13:31.158–13:35.096
zh但我相信肯定最后也会有人做。但是事实上，
但我相信肯定最后也会有人做。但是事实上，
13:35.303–13:37.603
zh我觉得这也是一个迷思，我们可能扯远了。
我觉得这也是一个迷思，我们可能扯远了。
13:37.723–13:40.843
zh就是 continuous training 这个话题其实
就是 continuous training 这个话题其实
13:40.843–13:44.830
zh是感觉是老生常谈了，其实当时我们在
是感觉是老生常谈了，其实当时我们在
13:44.830–13:47.883
zh做 AI 的很多年前就在做这个，但是好像
做 AI 的很多年前就在做这个，但是好像
13:47.883–13:51.369
zh在那个时代也都没有落地。这个就里面
在那个时代也都没有落地。这个就里面
13:51.369–13:55.295
zh感觉还是有很多这个叫什么 bottleneck。
感觉还是有很多这个叫什么 bottleneck。
13:55.295–13:56.295
zh对。
对。
13:57.503–14:02.514
zh还是价值不是特别清楚我觉得。因为你像
还是价值不是特别清楚我觉得。因为你像
14:02.514–14:05.127
zh之前是 continuous learning 一般都是做
之前是 continuous learning 一般都是做
14:05.127–14:08.341
zhfine tuning，然后 fine tuning 还比较花数据，
fine tuning，然后 fine tuning 还比较花数据，
14:08.341–14:11.605
zh然后能提高的东西也比较有限，然后还有
然后能提高的东西也比较有限，然后还有
14:11.605–14:15.247
zh解决这个、还解决不了以前这个会忘记过去
解决这个、还解决不了以前这个会忘记过去
14:15.247–14:20.082
zh的问题。所以这东西作为一个卖点的话，
的问题。所以这东西作为一个卖点的话，
14:20.082–14:22.857
zh让用户看到效果可能需要很长的时间。
让用户看到效果可能需要很长的时间。
14:22.857–14:25.569
zh我觉得现在的这个 self improvement
我觉得现在的这个 self improvement
14:25.569–14:27.457
zh像咱上次聊的，还是面临同样的问题：
像咱上次聊的，还是面临同样的问题：
14:27.457–14:31.161
zh我又怎么样能给这个用户看到价值？他们
我又怎么样能给这个用户看到价值？他们
14:31.161–14:34.597
zh还是很希望现在我买东西现在开箱即用。
还是很希望现在我买东西现在开箱即用。
14:35.071–14:37.690
zh确实是。但我觉得像这个 Deepseek 的话，
确实是。但我觉得像这个 Deepseek 的话，
14:37.690–14:41.157
zh就应该已经帮助很多公司可以做到这个了。
就应该已经帮助很多公司可以做到这个了。
14:41.157–14:44.160
zh因为我其实发布以后试了试，然后看了
因为我其实发布以后试了试，然后看了
14:44.160–14:47.220
zh网上那些大家用的体验，很多人就是说
网上那些大家用的体验，很多人就是说
14:47.220–14:50.398
zh拿来啪一跑，然后换上千问的模型就
拿来啪一跑，然后换上千问的模型就
14:50.398–14:53.498
zh非常强。我觉得这个东西其实就是让
非常强。我觉得这个东西其实就是让
14:53.498–14:57.311
zh大家更能够离 frontier 就更近一步。
大家更能够离 frontier 就更近一步。
14:58.243–14:59.543
zh对，确实。
对，确实。
14:59.551–15:01.931
zh我们刚才提到了这个 Claude 是有
我们刚才提到了这个 Claude 是有
15:01.931–15:05.864
zhmanaged agent。当时其实我们很担心的
managed agent。当时其实我们很担心的
15:05.864–15:09.033
zh一块，就是你如果是大模型公司，你的
一块，就是你如果是大模型公司，你的
15:09.033–15:12.684
zhharness 其实是可以和模型一起去训练的。
harness 其实是可以和模型一起去训练的。
15:12.684–15:16.151
zh如果我们是说一些非常通用的这些
如果我们是说一些非常通用的这些
15:16.151–15:19.151
zh工具的话，比如说读写一个文件什么，
工具的话，比如说读写一个文件什么，
15:19.151–15:22.237
zh这些大家都可以；但一旦涉及到有一些
这些大家都可以；但一旦涉及到有一些
15:22.237–15:25.392
zh比如说你私有化的一些工具，如果是
比如说你私有化的一些工具，如果是
15:25.392–15:31.690
enfrontier lab，Anthropic、Gemini、OpenAI，
frontier lab，Anthropic、Gemini、OpenAI，
15:31.690–15:33.715
zh它是不是就会比其他的这种公司要有
它是不是就会比其他的这种公司要有
15:33.715–15:36.565
zh一个很大的一个优势？当然 Deepseek
一个很大的一个优势？当然 Deepseek
15:36.565–15:38.979
zh我们说的也是它拥有这个模型。
我们说的也是它拥有这个模型。
15:38.979–15:42.081
zh那有一些开源的这种做 harness 的话，
那有一些开源的这种做 harness 的话，
15:42.081–15:44.497
zh它不能够跟模型强绑定，这种情况
它不能够跟模型强绑定，这种情况
15:44.497–15:48.065
zh是不是他们的这竞争力就会差很多？
是不是他们的这竞争力就会差很多？
15:48.667–15:52.047
zh这个确实我两边都觉得有可能。
这个确实我两边都觉得有可能。
15:52.047–15:54.819
zh一方面就是在大模型的话，他们自己
一方面就是在大模型的话，他们自己
15:54.819–15:57.647
zhtrain 自己的 harness，但是他们其实
train 自己的 harness，但是他们其实
15:57.647–16:00.540
zh想要开发的是更通用的智能对吧。
想要开发的是更通用的智能对吧。
16:00.540–16:05.522
zh所以就是说，一方面我觉得他应该不会
所以就是说，一方面我觉得他应该不会
16:05.522–16:09.918
zh说是我就要 customize 的 model，假如说
说是我就要 customize 的 model，假如说
16:09.918–16:13.515
zhOpenAI 就是给我 Codex 去 train 我这个
OpenAI 就是给我 Codex 去 train 我这个
16:13.515–16:17.072
zhmodel，以至于它在这 harness 做的很好。
model，以至于它在这 harness 做的很好。
16:17.072–16:19.213
zh有可能的可能是说，它能有更早的
有可能的可能是说，它能有更早的
16:19.213–16:22.439
zhaccess 这个 model，然后可能根据这个
access 这个 model，然后可能根据这个
16:22.439–16:27.239
zh事情把它 harness 做的优化，这个有可能。
事情把它 harness 做的优化，这个有可能。
16:27.239–16:31.003
zh然后回到创业的话，其实你像 Pi 现在大家，
然后回到创业的话，其实你像 Pi 现在大家，
16:31.003–16:33.095
zh我虽然说我还没有自己用过，但是现在就是
我虽然说我还没有自己用过，但是现在就是
16:33.095–16:36.703
zh反馈特别好，就说他们特别的省 token。省 token。
反馈特别好，就说他们特别的省 token。省 token。
16:36.703–16:37.943
zh省 token。
省 token。
16:40.559–16:42.339
zh所以至于说这个模型怎么能跟
所以至于说这个模型怎么能跟
16:42.339–16:45.639
zhharness 做好、然后怎么跟 coding agent
harness 做好、然后怎么跟 coding agent
16:45.639–16:47.539
zh做的更好的话，我觉得这个也不是说
做的更好的话，我觉得这个也不是说
16:47.539–16:50.001
zh别人就没有这个 technology，在大家
别人就没有这个 technology，在大家
16:50.001–16:52.415
zh都有这个大模型 access 的前提下。
都有这个大模型 access 的前提下。
16:52.415–16:55.165
zh因为你像说 Pi 的话，就是我看到他说他很省、
因为你像说 Pi 的话，就是我看到他说他很省、
16:55.165–16:58.018
zh省 token 的原因，一个就是说他 system
省 token 的原因，一个就是说他 system
16:58.018–17:00.959
zh一个就是说他 system prompt 是少于 1000 个 token，就非常小；
一个就是说他 system prompt 是少于 1000 个 token，就非常小；
17:00.959–17:04.945
zh其次他整个 harness 里面就只有四个 tool，
其次他整个 harness 里面就只有四个 tool，
17:04.945–17:07.855
zh就是读写文件然后改文件，就这些东西。
就是读写文件然后改文件，就这些东西。
17:07.855–17:11.248
zh从 Deepseek 的角度说，他就非常广泛。
从 Deepseek 的角度说，他就非常广泛。
17:11.248–17:14.881
zh你再看 Claude code 的话，其实我相信他就
你再看 Claude code 的话，其实我相信他就
17:14.881–17:17.475
zh更多了，因为他还要 manage 自己的 memory。
更多了，因为他还要 manage 自己的 memory。
17:17.475–17:19.581
zh他可能、我不知道 Claude 里面还有一些
他可能、我不知道 Claude 里面还有一些
17:19.581–17:23.335
zhAPI，他要 set 一个 outcome 这种东西。
API，他要 set 一个 outcome 这种东西。
17:23.388–17:26.455
zh其实从一定的角度来说，你把这个模型
其实从一定的角度来说，你把这个模型
17:26.455–17:31.045
zh和 harness 绑定去做这件事的，其实
和 harness 绑定去做这件事的，其实
17:31.045–17:34.568
zh你是有飞轮的、飞轮效应的。因为你说
你是有飞轮的、飞轮效应的。因为你说
17:34.568–17:38.917
zhcoding Agent 的话，我落地的 Use Case 是这样，
coding Agent 的话，我落地的 Use Case 是这样，
17:38.917–17:42.589
zh我可以试试怎么能够把它弄得更好，然后
我可以试试怎么能够把它弄得更好，然后
17:42.589–17:46.269
zh反而去看看这东西能不能变成通用的。
反而去看看这东西能不能变成通用的。
17:46.269–17:49.589
zh好像就是说直接去做通用，我只是猜想，
好像就是说直接去做通用，我只是猜想，
17:49.589–17:54.869
zh就是说直接做通用的话感觉太广泛了。
就是说直接做通用的话感觉太广泛了。
17:55.123–17:59.758
zh对，确实做通用、直接做通用的难度高很多，
对，确实做通用、直接做通用的难度高很多，
17:59.758–18:02.613
zh然后要求也高很多。对，但是如果能把它
然后要求也高很多。对，但是如果能把它
18:02.613–18:05.400
zh做通，像 cursor 一样对吧，他最后也能
做通，像 cursor 一样对吧，他最后也能
18:05.400–18:08.086
zh创业自己的 model，然后他反向的去控制
创业自己的 model，然后他反向的去控制
18:08.086–18:10.867
zh这件事情，说不定也是一个创业的机会。
这件事情，说不定也是一个创业的机会。
18:10.867–18:13.673
zh那说到创业的话，你觉得在企业这边，
那说到创业的话，你觉得在企业这边，
18:13.673–18:16.071
zh比如说我们做 vertical 和做比较
比如说我们做 vertical 和做比较
18:16.071–18:19.717
zhgeneralized 的一个 harness 是有区别的吗？
generalized 的一个 harness 是有区别的吗？
18:19.717–18:22.999
zh因为我马上能想到的就比如说我们刚才
因为我马上能想到的就比如说我们刚才
18:22.999–18:25.495
zh说有不同的工具，我们现在看到的这些
说有不同的工具，我们现在看到的这些
18:25.495–18:29.166
zhharness 的工具，好像很难说我想去内部
harness 的工具，好像很难说我想去内部
18:29.166–18:33.037
zh调用一个什么 Google Workspace 的 tool，
调用一个什么 Google Workspace 的 tool，
18:33.037–18:34.819
zh或者说想去调用一个微软的什么你的
或者说想去调用一个微软的什么你的
18:34.819–18:37.577
zhidentity 的 tool 对吧。这些东西好像还
identity 的 tool 对吧。这些东西好像还
18:37.577–18:41.190
zh都是比较 specific，而且我们还现在
都是比较 specific，而且我们还现在
18:41.190–18:43.881
zh说的是……但是对于很多像公司来说，
说的是……但是对于很多像公司来说，
18:43.881–18:47.671
zh它要 private，这个东西就要变得非常难。
它要 private，这个东西就要变得非常难。
18:47.671–18:50.087
zh我觉得它是有机会的，就是特别是像
我觉得它是有机会的，就是特别是像
18:50.087–18:52.356
zh企业这种应用啊。就特别现在是我们
企业这种应用啊。就特别现在是我们
18:52.356–18:54.914
zh看到一个 trend，就是现在很多的企业、
看到一个 trend，就是现在很多的企业、
18:54.914–18:57.431
zh不同的 industry 的话都在 train 自己
不同的 industry 的话都在 train 自己
18:57.431–19:02.778
zh的这个 domain specific 这些大模型。
的这个 domain specific 这些大模型。
19:02.778–19:06.006
zh像这个呃，刚刚那个 Harvey 自己那个 legal
像这个呃，刚刚那个 Harvey 自己那个 legal
19:06.006–19:09.039
zh的模型，我们一个叫 Tenet，其中一个例子。
的模型，我们一个叫 Tenet，其中一个例子。
19:09.039–19:12.714
zh然后现在还有一些 insurance 公司也要做
然后现在还有一些 insurance 公司也要做
19:12.714–19:16.629
zh自己的大模型，然后他们每一个 industry
自己的大模型，然后他们每一个 industry
19:16.629–19:20.315
zh里面它有非常多的自己的这些条款。
里面它有非常多的自己的这些条款。
19:20.315–19:23.071
zh虽然你说这些 information 有一部分是
虽然你说这些 information 有一部分是
19:23.071–19:25.461
zhpublic information 对吧，但是这个说
public information 对吧，但是这个说
19:25.461–19:28.383
zhTrain 模型的时候可能没有那么多的区别。
Train 模型的时候可能没有那么多的区别。
19:28.383–19:30.752
zh但是从 harness Environment 来讲，
但是从 harness Environment 来讲，
19:30.752–19:32.904
zh如果我们认为 coding 你可以做很多的
如果我们认为 coding 你可以做很多的
19:32.904–19:36.249
zhharness，然后我觉得做这些某一个企业
harness，然后我觉得做这些某一个企业
19:36.249–19:38.735
zhdomain 的具体业务流程，也会有很多这种
domain 的具体业务流程，也会有很多这种
19:38.735–19:43.670
zhdomain knowledge 可以强制的加进去的。
domain knowledge 可以强制的加进去的。
19:43.670–19:45.940
zh所以我觉得还是，要是这些既然有
所以我觉得还是，要是这些既然有
19:45.940–19:49.029
zhOpen weights 这些模型 fine tune for 某个
Open weights 这些模型 fine tune for 某个
19:49.029–19:51.689
zhdomain，那我觉得也会有很多这种跟着
domain，那我觉得也会有很多这种跟着
19:51.689–19:55.649
zh这些模型一起的这些 harness 系统的存在。
这些模型一起的这些 harness 系统的存在。
19:55.799–19:59.643
zh其实我可能看的就跟你不是特别一样。
其实我可能看的就跟你不是特别一样。
19:59.643–20:03.419
zh我是觉得你要是走 vertical 的话，我相信它
我是觉得你要是走 vertical 的话，我相信它
20:03.419–20:06.794
zh一定是会有一些 quality，但是我其实比较
一定是会有一些 quality，但是我其实比较
20:06.794–20:10.736
zh持怀疑态度是，它到底能够有多大的提升。
持怀疑态度是，它到底能够有多大的提升。
20:10.736–20:16.467
zh因为我们还是回到模型的通用的智能，
因为我们还是回到模型的通用的智能，
20:16.467–20:21.923
zh它的能力是变得越来越强了，有些东西
它的能力是变得越来越强了，有些东西
20:21.923–20:24.089
zh可能你把它放到模型内部或者放到
可能你把它放到模型内部或者放到
20:24.089–20:27.771
zhharness 里面，可能就节约更多的一些 token。
harness 里面，可能就节约更多的一些 token。
20:27.771–20:31.430
zh但是事实上它是不是真正能够使得这个
但是事实上它是不是真正能够使得这个
20:31.430–20:35.140
zh模型有巨大的提升，这个我确实不知道。
模型有巨大的提升，这个我确实不知道。
20:35.140–20:38.832
zh而且像像 Harvey 那个例子，其实他是把
而且像像 Harvey 那个例子，其实他是把
20:38.832–20:42.021
zh模型 train 了对吧，他其实在这个 harness
模型 train 了对吧，他其实在这个 harness
20:42.021–20:45.023
zh上面的话，可能就是说 interaction 也
上面的话，可能就是说 interaction 也
20:45.023–20:47.305
zh是同样的一些东西，这个我就不知道了，
是同样的一些东西，这个我就不知道了，
20:47.305–20:49.871
zh不知道他们怎么去 run the benchmark。
不知道他们怎么去 run the benchmark。
20:49.871–20:54.033
zh我猜应该是会做一些这个 work。就当像我们
我猜应该是会做一些这个 work。就当像我们
20:54.033–20:56.782
zh当年在 Orby 做这个 computer use 上面的话，
当年在 Orby 做这个 computer use 上面的话，
20:56.782–20:59.048
zh我们也下了很多的一些限制吧，当时不叫
我们也下了很多的一些限制吧，当时不叫
20:59.048–21:01.775
zhharness，但是现在其实这些事情也都是
harness，但是现在其实这些事情也都是
21:01.775–21:04.390
zh定义在 harness：你怎么 maintain state，
定义在 harness：你怎么 maintain state，
21:04.390–21:06.418
zh怎么进入下一步，什么东西可以做、什么
怎么进入下一步，什么东西可以做、什么
21:06.418–21:09.567
zh东西不可以做。所以我觉得可能那个
东西不可以做。所以我觉得可能那个
21:09.567–21:15.088
zh这些 legal firm 还是没有到这里吧，他们
这些 legal firm 还是没有到这里吧，他们
21:15.088–21:19.825
zh可能还都比较早期，所以说可能有机会。
可能还都比较早期，所以说可能有机会。
21:19.825–21:22.985
zh它确实像你说的，就是这些小模型啊
它确实像你说的，就是这些小模型啊
21:22.985–21:25.437
zh做 harness 这些事情能不能有一个
做 harness 这些事情能不能有一个
21:25.437–21:29.055
zh实际 meaningful 的提高，这个不知道了。
实际 meaningful 的提高，这个不知道了。
21:29.055–21:32.078
zh但是至少有一个是大家都认可的，
但是至少有一个是大家都认可的，
21:32.078–21:34.305
zh就是这个会给至少这些企业认为他们
就是这个会给至少这些企业认为他们
21:34.305–21:36.672
zh有 better control，然后至少感觉还是
有 better control，然后至少感觉还是
21:36.672–21:39.869
zh有 better control。实际有没有的话呢，
有 better control。实际有没有的话呢，
21:39.869–21:42.977
zh可能也比较难以衡量，因为你就是很主观
可能也比较难以衡量，因为你就是很主观
21:42.977–21:45.551
zh它不太容易 apple to apple compare。
它不太容易 apple to apple compare。
21:45.551–21:47.779
zh明白。因为我看到的可能就是这些
明白。因为我看到的可能就是这些
21:47.779–21:51.066
zhOpen Source 的 harness 的 framework
Open Source 的 harness 的 framework
21:51.066–21:52.599
zh出来以后，大家测的第一步其实是测的
出来以后，大家测的第一步其实是测的
21:52.599–21:55.066
zh大家测的第一步其实是测的这个 token saving，就是看那个 cache 的 hit rate 到底是有多少。
大家测的第一步其实是测的这个 token saving，就是看那个 cache 的 hit rate 到底是有多少。
21:55.066–21:57.837
zhhit rate 到底是有多少。就是你一个 harness
hit rate 到底是有多少。就是你一个 harness
21:57.837–21:59.999
zh系统应该是能做到就是 95% 就可以到
系统应该是能做到就是 95% 就可以到
21:59.999–22:03.311
zh那个 cache 上，这样就是 token cost 一下
那个 cache 上，这样就是 token cost 一下
22:03.311–22:05.584
zh就降下来了对吧。真正的那个你能不能
就降下来了对吧。真正的那个你能不能
22:05.584–22:09.591
zhDeliver 那个 High Quality，可能还是要
Deliver 那个 High Quality，可能还是要
22:09.591–22:12.150
zh靠那个模型本身。对，然后要靠那个 tool
靠那个模型本身。对，然后要靠那个 tool
22:12.150–22:14.676
zh拿回来的这个 quality 好不好。所以我的、
拿回来的这个 quality 好不好。所以我的、
22:14.676–22:19.030
zh我可能看到就是说，可能在 cost saving
我可能看到就是说，可能在 cost saving
22:19.030–22:21.631
zh上面我觉得它可能会有一个比较大
上面我觉得它可能会有一个比较大
22:21.631–22:25.005
zh的区别，但是 quality 可能打一个问号。
的区别，但是 quality 可能打一个问号。
22:26.023–22:28.634
zh不管怎么说，现在刚才提到的话，现在
不管怎么说，现在刚才提到的话，现在
22:28.634–22:31.318
zh企业的整个 Agent 的正确率还是不够，
企业的整个 Agent 的正确率还是不够，
22:31.318–22:34.535
zh还是有很大的差距。虽然说有的一些的
还是有很大的差距。虽然说有的一些的
22:34.535–22:38.503
zh业务流程它对正确率要求没有那么高，
业务流程它对正确率要求没有那么高，
22:38.503–22:43.091
zh那些就会更先落地；但是像那些对于正确率
那些就会更先落地；但是像那些对于正确率
22:43.091–22:46.599
zh要求很高、然后它又需要很低的 cost，
要求很高、然后它又需要很低的 cost，
22:46.599–22:49.377
zh我觉得这里面的话还有很长的路要走。
我觉得这里面的话还有很长的路要走。
22:49.377–22:52.520
zh说不定你专注做的，还是你做时间够长了，
说不定你专注做的，还是你做时间够长了，
22:52.520–22:55.662
zh可能就变成下一代的系统了。所以这个
可能就变成下一代的系统了。所以这个
22:55.662–22:59.591
zh可能也就朝着像所谓的叫做 AI Operating
可能也就朝着像所谓的叫做 AI Operating
22:59.591–23:03.302
zhSystem，就 AI 操作系统、Agent 操作系统。
System，就 AI 操作系统、Agent 操作系统。
23:03.302–23:06.387
zh对，还有一个名词叫企业 AI 操作系统。
对，还有一个名词叫企业 AI 操作系统。
23:06.387–23:08.896
zh那这些其实也都是我要这样一个概念，
那这些其实也都是我要这样一个概念，
23:08.896–23:10.867
zh说我要有一个这样一个环境，能让我
说我要有一个这样一个环境，能让我
23:10.867–23:13.171
zh这些 Agent 去做我自己企业的事情。
这些 Agent 去做我自己企业的事情。
23:13.171–23:16.163
zh确实是。我觉得可能就像我们刚才说这个
确实是。我觉得可能就像我们刚才说这个
23:16.163–23:19.039
zhPi 的例子哈，就是它是一个非常迷你版
Pi 的例子哈，就是它是一个非常迷你版
23:19.039–23:23.055
zh的这么一个 harness，那它的受众可能更
的这么一个 harness，那它的受众可能更
23:23.055–23:26.396
zh多就是我们说开发者觉得，哎呀好小啊，
多就是我们说开发者觉得，哎呀好小啊，
23:26.396–23:28.734
zh就非常 light weight 非常快就可以，
就非常 light weight 非常快就可以，
23:28.734–23:31.718
zh我作为一个开发者我可以去、去拓展它。
我作为一个开发者我可以去、去拓展它。
23:31.718–23:34.550
zh但可能对于一个社会来说，它可能更多的是
但可能对于一个社会来说，它可能更多的是
23:34.550–23:36.964
zh需要像你说的就是 Deepseek 这样样类型
需要像你说的就是 Deepseek 这样样类型
23:36.964–23:39.463
zh的对吧。他可能要把这个不同的分层啊、
的对吧。他可能要把这个不同的分层啊、
23:39.463–23:42.622
zh分级啊，把这个能、这个权力给他分开，
分级啊，把这个能、这个权力给他分开，
23:42.622–23:46.390
zh这样可能大家才会有真正的这种掌控感，
这样可能大家才会有真正的这种掌控感，
23:46.390–23:49.545
zh才能够相信这个模型它做的事情对不对。
才能够相信这个模型它做的事情对不对。
23:49.545–23:52.345
zh我给你说一个就是我们做的一个
我给你说一个就是我们做的一个
23:52.345–23:56.167
zh案例的 use case 很有趣。就是我们聊了
案例的 use case 很有趣。就是我们聊了
23:56.167–23:59.067
zh很多企业，他们其实会有自己的这个
很多企业，他们其实会有自己的这个
23:59.067–24:02.451
zh叫商业逻辑 business logic，然后很多
叫商业逻辑 business logic，然后很多
24:02.451–24:04.851
zh这种 business logic 都是说我要先执行
这种 business logic 都是说我要先执行
24:04.851–24:06.645
zh第一步、执行第二步、再执行第三步，如果
第一步、执行第二步、再执行第三步，如果
24:06.645–24:09.862
zh遇到什么问题，就说我们说的 workflow。
遇到什么问题，就说我们说的 workflow。
24:09.862–24:13.008
zh然后我们让大模型就是说去理解这个，
然后我们让大模型就是说去理解这个，
24:13.008–24:16.317
zh看到比如他有这些 flow chart 也好、
看到比如他有这些 flow chart 也好、
24:16.317–24:19.727
zh写的这些 manual 也好，他去理解他都可以
写的这些 manual 也好，他去理解他都可以
24:19.727–24:22.362
zh做到非常好。但是当让一个大模型说你
做到非常好。但是当让一个大模型说你
24:22.362–24:25.410
zh按照这个东西去一步一步执行的时候，
按照这个东西去一步一步执行的时候，
24:25.410–24:28.105
zh大模型就挂掉了。我们虽然说很多模型
大模型就挂掉了。我们虽然说很多模型
24:28.105–24:30.535
zh可以在做 instruction following 很正好，
可以在做 instruction following 很正好，
24:30.535–24:34.708
zh但是到执行这种真正的、就是实打实的这种
但是到执行这种真正的、就是实打实的这种
24:34.708–24:37.750
zhAPI 然后一步一步执行，它就全都乱掉了，
API 然后一步一步执行，它就全都乱掉了，
24:37.750–24:42.101
zh它无法真正的去 follow 这个 instruction。
它无法真正的去 follow 这个 instruction。
24:42.101–24:46.199
zh这个感觉这个地方就像你说的，可能需要
这个感觉这个地方就像你说的，可能需要
24:46.199–24:48.709
zh确实是有一个系统可以保证它对吧，
确实是有一个系统可以保证它对吧，
24:48.709–24:50.824
zh按部就班的把它执行好。当然我们说
按部就班的把它执行好。当然我们说
24:50.824–24:53.794
zhcodify 这个东西可能也是一个方式对吧。
codify 这个东西可能也是一个方式对吧。
24:53.794–24:57.951
zh还有举一个例子就是 payment 系统，以后
还有举一个例子就是 payment 系统，以后
24:57.951–25:02.051
zh可能大家说拿 agent 去买东西或者什么的。
可能大家说拿 agent 去买东西或者什么的。
25:02.051–25:05.143
zh然后我聊了天的时候有个朋友遇到的
然后我聊了天的时候有个朋友遇到的
25:05.143–25:07.564
zh问题是说，他曾经有一次跟这个模型
问题是说，他曾经有一次跟这个模型
25:07.564–25:11.137
zh他曾经有一次跟这个模型说这是我的 credit card number，然后这个大模型就下一次、就是他就直接会拿 credit card 去帮他结算了对吧。
他曾经有一次跟这个模型说这是我的 credit card number，然后这个大模型就下一次、就是他就直接会拿 credit card 去帮他结算了对吧。
25:11.137–25:15.155
zh这个大模型就下一次、就是他就直接就
这个大模型就下一次、就是他就直接就
25:15.155–25:17.987
zh会拿 credit card 去帮他结算了对吧。
会拿 credit card 去帮他结算了对吧。
25:17.987–25:22.402
zh就是这个东西因为做 decision 和执行的
就是这个东西因为做 decision 和执行的
25:22.402–25:25.988
zh发生在同一个层面对吧，他没有把他剥
发生在同一个层面对吧，他没有把他剥
25:25.988–25:29.475
zh离开，这个时候人就完全就 lose control
离开，这个时候人就完全就 lose control
25:29.475–25:31.015
zh了对吧。我觉得好像企业包括我们
了对吧。我觉得好像企业包括我们
25:31.015–25:33.673
zh日常还有很多 work，我觉得是真正让
日常还有很多 work，我觉得是真正让
25:33.673–25:36.433
zh这个可以让他落地的话，有事情要做。
这个可以让他落地的话，有事情要做。
25:36.433–25:41.180
zh对，企业最大的问题是要上 scale 对吧。
对，企业最大的问题是要上 scale 对吧。
25:41.180–25:44.657
zh你要是 99% 的正确率，100 次错一次它也
你要是 99% 的正确率，100 次错一次它也
25:44.657–25:47.530
zh不能接受，就像你星巴克买咖啡 100 杯
不能接受，就像你星巴克买咖啡 100 杯
25:47.530–25:50.560
zh做错一次，这也不太能接受。所以企业
做错一次，这也不太能接受。所以企业
25:50.560–25:54.066
zh的要求还是非常非常高的，对于他们
的要求还是非常非常高的，对于他们
25:54.066–25:57.683
zh不仅是从企业的营收方面考虑，它还有
不仅是从企业的营收方面考虑，它还有
25:57.683–26:01.508
zh很多的 regulation constraints 对吧。
很多的 regulation constraints 对吧。
26:01.508–26:03.978
zh那些保险公司、银行，它有的非常非常具体
那些保险公司、银行，它有的非常非常具体
26:03.978–26:07.463
zh的机构，那都是涉及到 legal 问题，他会要
的机构，那都是涉及到 legal 问题，他会要
26:07.463–26:13.597
zh面临罚款，那是比较实打实这个 impact 吧。
面临罚款，那是比较实打实这个 impact 吧。
26:13.597–26:16.904
zh但是如果你说你省的钱只是说少雇了
但是如果你说你省的钱只是说少雇了
26:16.904–26:20.209
zh一些人的话，这个最后这个 ROI 还是不 work。
一些人的话，这个最后这个 ROI 还是不 work。
26:20.209–26:23.749
zh所以企业的话，我觉得这个 harness
所以企业的话，我觉得这个 harness
26:23.749–26:26.929
zh肯定是需要还要升级迭代。然后我还也
肯定是需要还要升级迭代。然后我还也
26:26.929–26:31.889
zh我觉得这个 neurosymbolic 也会是其中一个很重要的一个互动。
我觉得这个 neurosymbolic 也会是其中一个很重要的一个互动。
26:31.889–26:35.286
zh一个很重要的一个互动。我不能想象
一个很重要的一个互动。我不能想象
26:35.286–26:37.366
zh一个至少在企业环境里面一个没有
一个至少在企业环境里面一个没有
26:37.366–26:41.399
zhneurosymbolic 这样的一个 harness 系统
neurosymbolic 这样的一个 harness 系统
26:41.399–26:44.749
zh的存在，不管这个 model 能力提升有多高。
的存在，不管这个 model 能力提升有多高。
26:45.041–26:48.150
zh后来这个可能就是现在系统的一个 gap，
后来这个可能就是现在系统的一个 gap，
26:48.150–26:50.548
zh我们现在还没有看到一个非常有效的
我们现在还没有看到一个非常有效的
26:50.548–26:54.481
zh系统可以做到这一点。你觉得这一块其实
系统可以做到这一点。你觉得这一块其实
26:54.481–26:58.023
zh可能是一个 one billion dollar question：
可能是一个 one billion dollar question：
26:58.023–26:59.771
zh这个 harness 这个东西会不会真正
这个 harness 这个东西会不会真正
26:59.771–27:06.057
zh的就被模型吃掉呢？因为我们看之前、
的就被模型吃掉呢？因为我们看之前、
27:06.057–27:08.882
zh刚才我们刚才也说到了这个，可能
刚才我们刚才也说到了这个，可能
27:08.882–27:12.438
zh这个 harness 跟模型一起 train 效果
这个 harness 跟模型一起 train 效果
27:12.438–27:14.902
zh更好对吧。那如果就说大模型公司说，
更好对吧。那如果就说大模型公司说，
27:14.902–27:17.948
zh那这个 harness 包括我们想说的这些
那这个 harness 包括我们想说的这些
27:17.948–27:20.780
zh在 wishlist 上面的东西他们都做到了，
在 wishlist 上面的东西他们都做到了，
27:20.780–27:23.885
zh是不是这一块蛋糕就就都没有了？
是不是这一块蛋糕就就都没有了？
27:25.056–27:27.681
zh我觉得不太会，还是我还是觉得不太会。
我觉得不太会，还是我还是觉得不太会。
27:27.681–27:29.839
zh因为还是像刚才说，我觉得 harness
因为还是像刚才说，我觉得 harness
27:29.839–27:31.657
zh系统里面有个重要的部分，就是这个
系统里面有个重要的部分，就是这个
27:31.657–27:34.681
zh会有一个 neurosymbolic 系统的存在。
会有一个 neurosymbolic 系统的存在。
27:34.681–27:37.558
zh它还是要去 symbolify 很多很多事情，
它还是要去 symbolify 很多很多事情，
27:37.558–27:40.744
zh一个原因在于它很高效，另外一个它
一个原因在于它很高效，另外一个它
27:40.744–27:43.657
zh就是更能做到百分之百的 control。
就是更能做到百分之百的 control。
27:43.657–27:47.041
zh所以的话我觉得大模型可以演化、可以演化
所以的话我觉得大模型可以演化、可以演化
27:47.041–27:51.169
zh它的能力更强，它可能变得越来越高效。
它的能力更强，它可能变得越来越高效。
27:51.169–27:55.372
zh但是从让我们变得更容易 control、更容易
但是从让我们变得更容易 control、更容易
27:55.372–27:57.558
zh让系统变得更 scalable 的话，我觉得这个
让系统变得更 scalable 的话，我觉得这个
27:57.558–28:01.009
zhharness 系统还是必要存在的。你怎么看？
harness 系统还是必要存在的。你怎么看？
28:01.101–28:04.486
zh我跟你相反，我觉得可能这个东西要被
我跟你相反，我觉得可能这个东西要被
28:04.486–28:06.881
zh大模型吃掉。codify 那就是把你现在的
大模型吃掉。codify 那就是把你现在的
28:06.881–28:09.789
zh东西写成 code、code generation，我觉得
东西写成 code、code generation，我觉得
28:09.789–28:12.394
zh这个问题现在基本上解决了。然后我是
这个问题现在基本上解决了。然后我是
28:12.394–28:14.341
zh觉得我同意的一点就是没有解决的，
觉得我同意的一点就是没有解决的，
28:14.341–28:17.536
zh就是怎么做这种 permission escalation，
就是怎么做这种 permission escalation，
28:17.536–28:19.780
zh什么时候 agent 能够干这件事、不能
什么时候 agent 能够干这件事、不能
28:19.780–28:22.300
zh干这件事，可能还需要一个第三方
干这件事，可能还需要一个第三方
28:22.300–28:25.194
zh的一套系统或者 layer 介入对吧。
的一套系统或者 layer 介入对吧。
28:25.194–28:29.622
zh是不是 harness 的一部分我不太确定，至少
是不是 harness 的一部分我不太确定，至少
28:29.622–28:33.654
zh我现在来看的话，它可能是不在 harness
我现在来看的话，它可能是不在 harness
28:33.654–28:38.019
zh系统里面。其实我给你举个例子，像这个现在
系统里面。其实我给你举个例子，像这个现在
28:38.019–28:41.721
zhCPU 芯片对吧，大家都认为 CPU 计算它绝对
CPU 芯片对吧，大家都认为 CPU 计算它绝对
28:41.721–28:44.724
zh不会出错，但是其实它也是电压控制。对。
不会出错，但是其实它也是电压控制。对。
28:44.724–28:46.004
zh他也会出错。
他也会出错。
28:46.148–28:48.090
zh它还要是一个 validation 的东西，确保我这个 bit 是没有乱掉的。
它还要是一个 validation 的东西，确保我这个 bit 是没有乱掉的。
28:48.090–28:50.821
zh确保我这个 bit 是没有乱掉的。然后呢
确保我这个 bit 是没有乱掉的。然后呢
28:50.821–28:54.888
zh那个东西就是 harness。其实我觉得像
那个东西就是 harness。其实我觉得像
28:54.888–28:58.964
zhCPU 这么已经这么规模化、然后这么的、
CPU 这么已经这么规模化、然后这么的、
28:59.144–29:01.440
zh这么稳定的一个东西，它也是需要这个
这么稳定的一个东西，它也是需要这个
29:01.440–29:05.947
zhcheck 的系统的存在。所以我觉得包括电话
check 的系统的存在。所以我觉得包括电话
29:05.947–29:09.064
zh信号传输、高速信号传输，它全都会有一个……
信号传输、高速信号传输，它全都会有一个……
29:09.064–29:09.764
zh对。
对。
29:09.764–29:14.690
zhchecksum。但是不、就是说用你的理论
checksum。但是不、就是说用你的理论
29:14.690–29:17.465
zh打你的话，它就变成了 CPU 的一部分了。
打你的话，它就变成了 CPU 的一部分了。
29:17.465–29:20.587
zh你在卖 CPU 的时候你就可以卖这个系统对
你在卖 CPU 的时候你就可以卖这个系统对
29:20.587–29:24.844
zh吧，你说你可能要需要另外一套对吧。
吧，你说你可能要需要另外一套对吧。
29:24.844–29:27.887
zh这个东西会不会被这个 Open AI 吃掉？
这个东西会不会被这个 Open AI 吃掉？
29:27.887–29:30.864
zh确实像你说的可能会被它吃掉。它就是给
确实像你说的可能会被它吃掉。它就是给
29:30.864–29:34.040
zh大模型的时候，以后大模型出来了就自带
大模型的时候，以后大模型出来了就自带
29:34.040–29:37.666
zhharness，那我就配套来的，是很有可能发生
harness，那我就配套来的，是很有可能发生
29:37.666–29:40.242
zh的吧。是不是需要一个通用的 harness？
的吧。是不是需要一个通用的 harness？
29:40.242–29:42.305
zh或者说 harness 就会像变成 Checksum
或者说 harness 就会像变成 Checksum
29:42.305–29:44.289
zh这样的一个技术，就谁也不能 charge
这样的一个技术，就谁也不能 charge
29:44.289–29:46.016
zh钱了，因为它就是一个免费的东西。
钱了，因为它就是一个免费的东西。
29:46.016–29:48.699
zh就像 Internet 现在这个技术基本就是
就像 Internet 现在这个技术基本就是
29:48.699–29:51.339
zh免费的东西，也有可能变成这个样子。
免费的东西，也有可能变成这个样子。
29:51.339–29:55.739
zh终于 OK。好，我们这期 harness 就先聊到这里。
终于 OK。好，我们这期 harness 就先聊到这里。
29:55.739–30:00.266
zh然后我们说两个上周发生的事情，我可以
然后我们说两个上周发生的事情，我可以
30:00.266–30:03.915
zh先来。我先说的一个事就是打脸。我们其实
先来。我先说的一个事就是打脸。我们其实
30:03.915–30:07.962
zh我们其实之前没过两期聊到 OpenRouter，它就被 Stripe 天价收购了，我们说它没有护城河，然后啪啪打脸，所以这个还是蛮有趣的。
我们其实之前没过两期聊到 OpenRouter，它就被 Stripe 天价收购了，我们说它没有护城河，然后啪啪打脸，所以这个还是蛮有趣的。
30:07.962–30:12.532
zhStripe 天价收购了，我们说它没有护城河，
Stripe 天价收购了，我们说它没有护城河，
30:12.532–30:17.179
zh然后啪啪打脸，所以这个还是蛮有趣的。
然后啪啪打脸，所以这个还是蛮有趣的。
30:17.267–30:20.723
zh确实是，没有护城河也能卖六个 billion。
确实是，没有护城河也能卖六个 billion。
30:20.723–30:23.747
zh比如说你有 volume 对吧、有用户，我觉得
比如说你有 volume 对吧、有用户，我觉得
30:23.747–30:26.197
zh就可以。但是我也是瞎猜测，就是说毕竟
就可以。但是我也是瞎猜测，就是说毕竟
30:26.197–30:29.803
zh你看他们的 business model 很像，就是说
你看他们的 business model 很像，就是说
30:29.803–30:32.568
zh都是做这种平台中枢型的东西对吧，
都是做这种平台中枢型的东西对吧，
30:32.568–30:36.398
zh然后集散。只不过 Stripe 并没有说是
然后集散。只不过 Stripe 并没有说是
30:36.398–30:39.359
zh在核心的这个 GenAI 的赛道，它通过
在核心的这个 GenAI 的赛道，它通过
30:39.359–30:41.974
zh这个可能也就是说拓宽了它这个赛道，
这个可能也就是说拓宽了它这个赛道，
30:41.974–30:45.631
zh并且可以 diversify 它的 business。
并且可以 diversify 它的 business。
30:45.631–30:47.905
zh我觉得可能还是这个 Stripe 比较
我觉得可能还是这个 Stripe 比较
30:47.905–30:52.072
zhdesperate，他就是想要讲一个 AI 的 story，
desperate，他就是想要讲一个 AI 的 story，
30:52.072–30:55.676
zh然后也是找了一个这么一个非常 unique、
然后也是找了一个这么一个非常 unique、
30:55.676–30:57.789
zh像你说的一种非常契合的一个东西，
像你说的一种非常契合的一个东西，
30:57.789–31:00.241
zh他们作为其入口。相当于就是花六个
他们作为其入口。相当于就是花六个
31:00.241–31:03.338
zhbillion 买一个机会，说不定这个
billion 买一个机会，说不定这个
31:03.338–31:06.191
zh下个季度财报就把这钱挣回来了。
下个季度财报就把这钱挣回来了。
31:06.191–31:10.831
zh可以看看他们怎么去运行。
可以看看他们怎么去运行。
31:10.831–31:13.451
zh咱们如果是到时候他们 CEO
咱们如果是到时候他们 CEO
31:13.451–31:15.451
zh上来讲这事，咱们会回答。
上来讲这事，咱们会回答。
31:17.583–31:21.497
zh然后我可能要讲的话，就是这周的话
然后我可能要讲的话，就是这周的话
31:21.497–31:27.112
zhNVidia 宣布他们要投入 6 个 billion，这是真金白银 6 个 billion 去做 open weights model。
NVidia 宣布他们要投入 6 个 billion，这是真金白银 6 个 billion 去做 open weights model。
31:27.112–31:30.775
zh这是真金白银 6 个 billion 去做 open
这是真金白银 6 个 billion 去做 open
31:30.775–31:34.117
zhweights model。他们的口号要做最好的 US
weights model。他们的口号要做最好的 US
31:34.117–31:38.177
zh的 open weight model，我觉得这个让我看到
的 open weight model，我觉得这个让我看到
31:38.177–31:41.663
zh还是挺振奋人心的。然后连着这个的话，
还是挺振奋人心的。然后连着这个的话，
31:41.663–31:43.708
zh说不定他们下一步就会 launch 一个
说不定他们下一步就会 launch 一个
31:43.708–31:45.943
zhNvidia 版本的 harness system 给大家用。
Nvidia 版本的 harness system 给大家用。
31:45.943–31:47.218
zh有可能，有可能。
有可能，有可能。
31:47.218–31:49.469
zh我觉得还蛮看好的，因为之前还有不少
我觉得还蛮看好的，因为之前还有不少
31:49.469–31:52.288
zh的谷歌的同事都跑到了 NVidia，对。
的谷歌的同事都跑到了 NVidia，对。
31:52.288–31:54.647
zh然后包括他们的一个 Infra 啊、
然后包括他们的一个 Infra 啊、
31:54.647–31:57.527
zhTraining 啊，对，所以还挺拭目以待的。
Training 啊，对，所以还挺拭目以待的。
31:57.527–31:59.825
zh现在我们用 Nemotron 体验就特别好。
现在我们用 Nemotron 体验就特别好。
31:59.825–32:02.872
zh现在我们有个 Spark 那个机器，DGX 的 Spark，
现在我们有个 Spark 那个机器，DGX 的 Spark，
32:02.872–32:06.271
zh那个机器跑那个千问 3.8，就比那个那个
那个机器跑那个千问 3.8，就比那个那个
32:06.271–32:10.767
zhNemotron 慢很多，就慢将近 10 倍左右。
Nemotron 慢很多，就慢将近 10 倍左右。
32:10.767–32:13.567
zh好的，我们这期就聊到这里，大家拜拜。
好的，我们这期就聊到这里，大家拜拜。
32:13.567–32:14.567
zh拜拜。
拜拜。
影片筆記：18.DeepSeek开源harness，新风口还是没得选
<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->
⚠️ 全文快速校讀發現待確認修正
本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。
- 待修正：⚠️ 全文快速校讀：已套用暫定修正，請確認（segment=112 已先套用暫定修正：Deepseek 自己的提供 API 去用这些大模型， → 一般的人都不会自己在、不会用这个 Deepseek 自己的提供 API 去用这些大模型，或者用 Deepseek 的 service 去用这些大模型，他可能在任意地方去 serve。；segment=134 已先套用暫定修正：那他就等于这个、这个系统没有。 → 那这个时候他就非常的独立了，那他就等于这个、这个系统没有。）
- 待修正：逐字稿可先使用，但有待校正清單（segment=4 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=9 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語）
<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->
一句話總結
影片探討 DeepSeek 開源 Agent Harness 的戰略意圖，分析其作為企業級 AI 基礎設施的價值與挑戰，並結合 Stripe 收購 OpenRouter 及 Nvidia 投入開放權重模型的產業動態，指出 Harness 正從單純的 Prompt 工程演進為具備驗證、權限控制與系統化組件能力的「AI 操作系統」，但目前在企業級可靠性與垂直領域應用上仍面臨巨大挑戰。
核心重點
- Agent Harness 的定義與演進：
- Harness 被定義為支援「長期任務」（Long Horizon Task）的系統化工程組件，包含評估、驗證、自我糾正及工具調用。
- 發展路徑從早期的 Prompt Engineering、Context Engineering，演進為現階段的模組化 Harness。
- 它不是新物種，而是 Agent 發展過程中產生的更複雜、更大規模的工程系統。
- DeepSeek 開源 Harness 的戰略解讀：
- 模組化設計：將 Harness 拆解為 Plugin 形式，降低工程難度，允許組件替換。
- 提升採用率：針對自建模型服務（非 API）的企業，提供配套環境以優化體驗，特別是針對較小權重（smaller weights）的模型。
- 信任機制：企業傾向將 Open Weights Model 部署在自家數據中心，開源 Harness 是建立信任、讓企業敢於部署 DeepSeek 模型的途徑。
- 戰略轉向：可能標誌著 DeepSeek 從純通用大模型向提供完整生態系統（含 Harness）的戰略調整。
- 企業級應用的現實挑戰：
- 可靠性差距：現有 Harness 成功率約 90%（一個 9），無法滿足金融、保險等行業對 99.9% 或 99.99% 穩定性及確定性的要求。
- 垂直領域差異：Coding Agent 因有人類審核較易落地；企業垂直應用涉及私有 API、特定業務邏輯與身份驗證，難以通用化。
- 控制權問題：企業需要對 Agent 行為有「Better Control」，防止模型在執行複雜工作流時「掛掉」或亂掉，以及防止敏感數據（如信用卡信息）被不當挪用。
- 產業動態與未來趨勢：
- Stripe 收購 OpenRouter：Stripe 以約 60 億美元收購 OpenRouter，旨在拓展業務版圖、分散風險並講述 AI 故事，顯示平台樞紐型產品的價值。
- Nvidia 投入開放權重模型：Nvidia 宣布投入 60 億美元開發開放權重模型，並預期推出 Nvidia 版本的 Harness 系統，同時觀察到 Google 人才流向 Nvidia。
- Harness 的終極形態：可能演變為「AI 操作系統」或「企業 AI 操作系統」，成為內建於大模型的標準配置，甚至像 Internet 基礎設施一樣免費。
- 神經符號系統（Neurosymbolic）：企業環境必須存在神經符號系統以實現高效性與 100% 控制權，Harness 系統因涉及符號化與確定性控制，不會被模型完全「吃掉」。
詳細大綱
1. Agent Harness 的深度解析
1.1 定義與價值
- 功能定位：
- 支援 Long Horizon Task（數小時的長期任務）。
- 提供完整的 Evaluation、Validation 與 Self-correction 機制。
- 從單一對話式 Agent 擴展為系統化、工程化的組件。
- 發展階段：
- 初期：Prompt Engineering。
- 中期：Context Engineering。
- 現在：Harness（系統化執行任務，包含呼叫 API、執行代碼、安全合規檢查）。
1.2 DeepSeek 開源策略分析
- 模組化設計：
- 拆解為 Plugin/插件，降低 Engineering 難度。
- 將 Agent 的 Best Practice 以可拼裝形式組合。
- 開源動機：
- 提升採用率：企業自建 DeepSeek 模型服務時，需要配套 Harness 環境來優化體驗，特別是針對 smaller weights 的模型。
- 信任與獨立性：企業不信任直接使用 API，傾向部署 Open Weights Model 在自家數據中心。開源 Harness 是讓企業信任並部署模型的途徑。
- 戰略轉向：CEO 梁文鋒曾強調專注通用大模型，此次開源可能標誌戰略重心轉移。
1.3 企業級應用的挑戰
- 可靠性差距：
- 企業需要高確定性（Deterministic）與高可用性（99.9% 或 99.99%）。
- 現有 Harness 約 90% 正確率（一個 9），無法滿足銀行、保險等行業的嚴苛合規。
- State-bench 指標：通過重複運行同一任務檢查結果一致性，發現現有 Harness 在企業級部署中仍不夠可靠。
- 垂直領域 vs. 通用領域：
- Coding Agent：Harness 主要應用於此，因有人類在環（Human in the loop）審核。
- 企業垂直應用：涉及私有 API、特定業務邏輯、身份驗證等，難以通用化。
- 領域特定模型：如 Harvey（法律）、Tenet（保險），結合特定領域數據訓練，需搭配專屬 Harness。
- 控制權與安全性：
- 企業需要對 Agent 行為有「Better Control」。
- 案例：模型執行指令時容易「掛掉」或亂掉，無法嚴格遵循複雜工作流。
- 案例：支付系統中，模型可能直接挪用用戶信用卡信息，因決策與執行在同一層級，導致人類失去控制。
1.4 未來趨勢與爭議
- 自我改進與連續訓練：
- Self-improving Agent：系統性決定所有組件可自我調整。
- 迷思：Continuous Training/Fine-tuning 目前難以向用戶展示價值，耗費數據且提升有限。
- Token 節省：部分 Harness（如 Pi）透過極簡 System Prompt 和少量 Tool 來節省 Token，但不等於高質量交付。
- 模型與 Harness 的關係：
- 綁定優勢：Frontier Lab（Anthropic, OpenAI）可能透過訓練專屬 Harness 獲得優勢。
- 通用 vs. 專用：直接做通用 Harness 難度極高；若能像 Cursor 一樣反向控制模型，可能是創業機會。
- 神經符號系統（Neurosymbolic）：
- 企業環境必須存在神經符號系統，以實現高效性與 100% 的控制權。
- 即使模型能力增強，Harness 系統因涉及符號化（Symbolify）與確定性控制，仍將必要存在。
- AI 操作系統：Harness 最終可能演變為「AI Operating System」或「企業 AI 操作系統」。
2. 產業動態與驗證機制
2.1 AI 系統中的驗證與權限管理
- Code Generation 的現狀：將東西寫成 code 或 code generation 的問題已基本解決。
- 未解決的痛點：
- Permission escalation（權限提升）的處理。
- Agent 何時能、不能執行特定任務的判斷。
- 可能需要第三方系統或 Layer 介入。
- Harness 的定位：
- 目前看來可能不在 Harness 系統內部，但屬於驗證（Validation）的一部分。
- 類比 CPU：即使 CPU 已高度規模化且穩定，仍需確保 bit 沒有亂掉，這需要類似 Harness 的檢查系統。
- 類比高速信號傳輸：類似 Checksum 機制，用於確保數據完整性。
- 商業化與普及趨勢：
- 若由 Open AI 等大模型廠商提供，Harness 可能成為大模型的內建功能（Built-in）。
- 可能演變為像 Internet 技術一樣的免費通用基礎設施，無法單獨收費。
2.2 Stripe 收購 OpenRouter
- 事件回顧：
- 此前討論認為 OpenRouter 沒有護城河。
- 結果被 Stripe 以「天價」收購（約 60 億美元 / 6 billion）。
- 被視為「打臉」案例，但顯示有 Volume 和用戶即可具備價值。
- 收購動機分析：
- 業務模式相似性：兩者皆為平台樞紐型（Platform Hub）東西，負責集散。
- 戰略擴張：Stripe 並非核心 GenAI 賽道，透過收購拓寬賽道並 Diversify（分散）業務。
- 講述 AI 故事：Stripe 可能較為 Desperate（急切），尋找獨特且契合的入口來講 AI 故事。
- 投資回報預期：花費 60 億美元買機會，預期下季度財報可能賺回成本。
2.3 Nvidia 與 Open Weights Model
- Nvidia 重大投資：
- 宣布投入 60 億美元（真金白銀）開發 Open Weights Model。
- 目標：做最好的 US（美國）Open Weights Model。
- 前景：令人振奮，預期下一步可能 Launch Nvidia 版本的 Harness System。
- 人才流動：
- 觀察到許多 Google 同事轉投 Nvidia。
- 涉及 Infra（基礎設施）與 Training（訓練）領域。
- 效能體驗對比：
- 使用 Nemotron 體驗良好。
- 硬體環境：DGX 的 Spark 機器。
- 模型對比：跑 Qwen 3.8（千問 3.8）的速度比 Nemotron 慢約 10 倍。
工具 / 模型 / 名詞整理
- Deepseek：提及開源其 Core Harness 系統的公司/模型。
- Agent Harness：討論的核心概念，指代讓 Agent 執行長期任務的系統化組件。
- OpenAI：被提及作為模型提供商之一。
- Gemini：被提及作為模型提供商之一。
- Claude Code：被提及擁有 Managed Agent 功能，其 Harness 設計被認為不錯。
- Anthropic：被列為 Frontier Lab 之一。
- Pi：被提及為一個迷你版、輕量級的 Harness 系統，特點是節省 Token。
- Cursor：被提及為最終能創業自己模型並反向控制的產品/公司。
- Harvey：被提及為法律領域（Legal）的特定模型。
- Tenet：被提及為保險領域的特定模型。
- State-bench：Will 團隊開源的 Agent Memory Benchmark 工具。
- Google Workspace：被提及為企業內部可能調用的工具來源。
- Microsoft Identity：被提及為企業內部可能調用的身份驗證工具。
- OpenRouter：被 Stripe 收購的平台樞紐型產品。
- Stripe：收購 OpenRouter 的支付平台。
- Nvidia：宣布投入 60 億美元開發 Open Weights Model 的硬體公司。
- Nemotron：Nvidia 推出的模型，體驗良好。
- Spark：提及為 DGX 的 Spark 機器。
- DGX：Nvidia 的硬體設備。
- 千問 3.8 (Qwen 3.8)：與 Nemotron 進行速度對比的模型。
- Open weights model：開放權重模型。
- CPU：用於類比 Harness 的檢查系統。
- Frontier lab：講者對 Anthropic、Gemini、OpenAI 的非正式稱呼。
- Neurosymbolic：神經符號系統，指結合神經網路與符號邏輯的 AI 架構。
操作流程整理
- Harness 的演進與組裝：
- 從 Prompt Engineering 演進至 Context Engineering。
- 將 Agent 拆解為 Plugin 組件，根據需求替換組件。
- 組合 Agent 的 Best Practice，形成可拼裝的系統。
- 企業部署策略：
- 企業選擇自建 DeepSeek 模型服務（而非使用 API）。
- 部署 Open Weights Model 在自家數據中心。
- 引入開源的 Harness 環境以優化使用體驗，特別是針對 smaller weights 的模型。
- 驗證與控制機制：
- 建立類似 CPU 檢查系統或 Checksum 機制的驗證層。
- 處理 Permission escalation（權限提升）問題。
- 判斷 Agent 何時能、不能執行特定任務。
- 引入第三方系統或 Layer 介入驗證。
- 產業動態跟蹤：
- 關注 Stripe 收購 OpenRouter 後的業務整合。
- 追蹤 Nvidia 投入 Open Weights Model 的進展及人才流動。
- 比較不同模型（如 Nemotron 與 Qwen 3.8）在特定硬體（DGX Spark）上的效能。
值得注意的限制或風險
- 企業級可靠性不足：
- 現有 Harness 成功率約 90%（一個 9），無法滿足金融、保險等行業對 99.9% 或 99.99% 穩定性的要求。
- 無法滿足嚴苛的合規與罰款風險。
- 垂直領域通用化困難：
- 企業垂直應用涉及私有 API、特定業務邏輯與身份驗證，難以通用化。
- 領域特定模型（如 Harvey、Tenet）需搭配專屬 Harness，增加了複雜度。
- 控制權與安全性風險：
- 企業需要對 Agent 行為有「Better Control」，但現有模型在執行複雜工作流時容易「掛掉」或亂掉。
- 支付系統中，模型可能直接挪用用戶信用卡信息，因決策與執行在同一層級，導致人類失去控制。
- 自我改進與連續訓練的迷思：
- Continuous Training/Fine-tuning 目前難以向用戶展示價值，耗費數據且提升有限。
- 無法解決「災難性遺忘」問題。
- 商業化挑戰：
- Harness 可能演變為像 Internet 基礎設施一樣的免費通用基礎設施，難以單獨收費。
- 若由 Open AI 等大模型廠商提供，可能成為內建功能，壓縮第三方 Harness 的生存空間。
逐字稿辨識疑點
- Deepseek 的「core 的 harness」：逐字稿中提及「他把自己的这套 core 的 harness 给 open source 了」，「core 的」聽起來像是口語修飾或特定術語，需查證 Deepseek 官方是否使用此特定命名。
- 「小一点 weights 的 model」：逐字稿中多次提到「小一点 weights 的 model、小一点的 model」，通常模型大小以參數數量（Parameters）或浮點數精度（如 FP16, INT8）描述，「weights」一詞在此處用法較不常見，疑點標記。
- 「9 的状态，90% 做对」：講者用「9」來代表 90% 的成功率（一個 9），這與業界通常用「9」代表 99.9%（三個 9）的可用性標準略有不同，需確認講者是否為口誤或特定簡化說法。
- 「neurosymbolic」：逐字稿中出現此詞，指神經符號 AI，需確認講者是否準確使用了該術語，或是否為聽寫錯誤。
- 「codify」：逐字稿末尾提到「codify 那就是把你现在的...」，此詞在上下文中語意不完整，疑點標記。
- 「Apple to apple compare」：逐字稿中寫為「apple to apple compare」，標準英語為「apples to apples」，疑點標記。
- 「Frontier lab」：講者提及「Anthropic、Gemini、OpenAI」為「frontier lab」，此為非正式稱呼，需查證是否為業界通用術語或講者自創。
- 「State-bench」：講者稱其開源了「State-bench」，需查證該 Benchmark 的確切名稱是否為「State-bench」或類似名稱。
- 「電話信號傳輸」：逐字稿中出現「包括電話信號傳輸」，結合上下文「高速信號傳輸」及「Checksum」，疑點為是否為口誤，實際語境可能指「電信」或特定高速傳輸標準，但依規則保留原樣。
- 「打你的话」：逐字稿中出現「用你的理论打你的话」，語意不通，疑點為聽寫錯誤或口誤。
- 「配套来的」：逐字稿中出現「那我就配套来的」，語意稍顯模糊，疑點為口誤。
- 「咱们会回答」：逐字稿中出現「咱们会回答」，結合上下文「看看他们怎么去運行」，疑點為是否
尚未產生學習筆記
請在 Telegram 指令最後加上「學習」，例如：videonote 網址 英文 雙語 學習