{ "text": "哈喽大家好，我是 Lewis。\n大家好，我是 Will。\n这期我们其实想接着上次，我们留\n了一个话题，是说讲 agent harness。\n然后 agent harness 最近也是非常的火，\n感觉这一波是 Deepseek 带起来的。\n他把自己的这套 core 的 harness 给\nopen source 了，然后一下就点爆了\n这个 community，大家就开始试它。\n这个东西不如我们先给大家来说一说，\nagent harness 到底是什么。我的理解的话呢，\n这个 harness 还是非常重要的一个环节，\n就特别是在 agent 这个年代。咱先说它\n功能性上来说的话，它提到的一个最大的、\n提供一个最大的一个价值在于，以前的话呢，\n大家认为这个 agent 都是这种对话式的，\n他做任务都是一件事一件事，就就说我要\n生成一个 doc、生成一个 image。但是的话，\n就是这个 harness 就变、就是让这个 agent 能\nrun 这种 long horizon task，就是几个小时\n的这种 task。然后整个过程当中，它需要\n一个一整套的 evaluation validation\n然后 self correction，这一套的机制能\n保证它能做一个更长的 task。我的从功能\n上理解是这样理解的，我不知道你怎么看。\n从产品来说吧，我觉得可能就是说，\n大家刚开始做这个大语言模型，可能更\n多的就是看这个叫什么，这个光标对吧，\n就是我打进去一个一个问题，然后你模型\n给我一个答案，这可能是第一个雏形。\n那个时候就是比较热门的就是叫\nprompt engineering 对吧，大家想怎么把\n这个 prompt 写好。然后当时其实我们内部\n还在说，每一个模型它都有自己的个性，\n所以你用你自己的一套 prompt 去跟\nOpenAI 说话，再去跟 Gemini 说话，他的理解\n不太一样。所以当时模型能力也是受限，\n所以我们说 prompt engineering。对，后来\n就变成了叫 context engineering 对吧。\ncontext engineering 就是说你怎么把\n合适的东西放在 prompt 里面，然后让\n模型可以更有效。这个时候我觉得好像\n大家还都是在做怎么回答好一个问题。\n现在我觉得就是说，我们一直得强调\nROI 对吧，就是说企业要买模型然后\n部署这个东西，他要的是能够落地，\n他能让模型真正的去做一些任务。\n一旦做任务的话，就不只是简单是拿一个\n这个叫什么答案回来了，那他就可以要、\n要去执行代码对吧，要去 call API，然后要\n保证这些东西能够安全然后合规对吧。\n这个 Harness 其实就是衍生出来的这\n一套在模型外面的系统，能够更好的、就是\n让这种像你刚刚说了这个可以跑很多\n天的这种这种任务对吧，能够真正落地。\n我觉得就是说，可能他就是帮人们从一个\n简单的一个模型扩展到了一个一个系统。\n所以我是一个自然的 agent 发展的过来\n一个，在我眼里的话，不觉得它是一个\n新生物种。我觉得它就是一个 agent 在\n自我发展的过程当中自然而然产生\n的一个更系统化、更复杂、更大规模、\n更 engineering 的一个系统组件吧。\n对，这就是一个就像你说的，在每一个发展的\n阶段，好像大家意识到一个新的问题对吧。\n遇到一个新的问题，我们再给它起一个名字，\n把它当成一个问题然后来解决对吧。\n可能在当前那个阶段，现在大家要讲求它\n可以帮你去、就是自动化这些 task 对吧，\n那 harness 就产生了。那我们不如来说\n一说 Deepseek 它做的 harness 系统。\nDeepseek 好像它 Open Source 大家都非常\n喜欢的原因，是它把它变成了模组化，\n好像每一个都是一个 plugin、都是一个\n插件，然后大家都可以用来不同的\n组件来更换。这个的话是不是对企业、\n对很多开发的时候就有很大的帮助？\n对，从本质上的话，就把 harness 这个\n事情变得更容易 engineering 了，\n就变得更容易去拆组，然后根据自己\n的需求然后调整 harness 的 behavior。\n像以前的话大家都是在 Agent Loop 里面\n加一些 tool、加一些 command、加一些\npermission check 这些事情，但是它\n没有更系统化的去把整个 Agent Loop\n里面不同的组件可以任意地搭配起来。\n其实我们之前好像讲 memory 那期也涉及\n到了这些方面的话题。我们通常来说这个\nAgent Loop 是比较简单的，就说你有没有\n达到最终的目标、也完成这个任务，没完成\n你就自动去、自己去发现为什么没有完成。\n在这个过程中的话，就需要这种不同\n的组件然后去支持它完成这件事情。\n所以可能这种模块化的话，就让这种\n工程学来说更容易，大家只需要用同样\n的这么一个模板，对，把适应、对应的这些\n东西拿进来，它很容易就可以工作了。\n对，其实就是把 agent 的一些 best practice\n以一种可拼装的形式组在一起。\n你觉得这个 Deepseek 为什么会 open source\n这个？因为你像我们之前内部的话，曾经\n还有一段时间看这个 Claude Code 对吧，\n他做了这个 managed agent，然后大家\n都说，哇，他这个 harness 做的真不错。\n他就会觉得这个 harness 感觉是\n又是一个下一个风口对吧，所以要\n赶快去做这件事。但是这个 Deepseek\n直接就把他自己的这一套给开源了。\n我当时看到开源的时候，我主要是\n当时的思考逻辑就是说，他把它、因为\nDeepseek 他们是开源模型对吧，他是模型。\n一般的人都不会自己在、不会用这个\nDeepseek 自己的提供 API 去用这些大模型，\n或者用 Deepseek 的 service 去用这些\n大模型，他可能在任意地方去 serve。\n他一旦自己 serve 这些 model 的时候，\n他就会面临一个问题：那我用什么样的\nharness environment 去做这件事情？\n你也可以用 OpenAI 的，你也可以用 Claude，\n但是可能最好的就不如用一个它自、这个\nDeepseek 调制好的这样的一个 harness。\n这样的话，大家对于这个 Deepseek 这个\nmodel，特别是那些小一点 weights\n的 model、小一点的 model，可能就是\n使用体验会好很多。所以整体来说，\n可能就是这个能 help 他们的 adoption。\n对，我们刚才提出说到一点我还觉得挺、\n就突然我想到了哈，就是用 Deepseek\n的很多企业，可能他真的不会去、\n就是去 call 这个 Deepseek 的 API 对吧。\n他可能觉得不、这个对吧，不太信任。\n反而他可能就是把这个 open weights model\n用在自己的数据中心，或者是其他的云\n对吧。那这个时候他就非常的独立了，\n那他就等于这个、这个系统没有。\n那对于 Deepseek 来说，那可能我把这\n一部分也开源了，也是他唯一的途径。\n要不然他也很难说有一套像 Claude\n一样，他做一个 managed service，\n大家可能也很难信任他，然后去\n把这个服务 run 在他这个上面。\n其实 Deepseek 的 CEO 梁文锋之前在一次\n的这个泄露的内部会议上面，其实提到\n过一次，他们说他们就要专注、专注于做\ngeneric 大模型，其实没有提到这个 harness。\n然后我觉得他们现在把这个放出来，\n不知道是他们以后就要专注这个方向、\n然后持续放出来这个东西，还是说我这\n东西做了一个版本把它 open source\n出去，不做我们一个拳头产品做研发。\n你这个角度很有趣，其实也可以是我们下\n一个话题：这东西为什么就突然火了对吧？\n是不是因为这些像你说 Deepseek 这些\n大模型公司突然发现，好像模型卷的东西\n不多了，然后这个外边有好多新的一个领域\n可以去卷，然后所以大家都开始做 harness。\n其实我觉得在应用环境当中，除了这非常\ngeneric 的 task，harness 这个东西还是\n非常复杂的。包括我内部的 API 怎么调用，\n假如你一个公司内部开发了某一个 API，\n或者说某一个 validation 那个东西，或者\n某个 rule，这些大模型其实很难知道的。\n然后这些 API 可能定义的非常的不直觉，\n也非常不符合这个 semantic 的定义，就需要\n去做这个 harness。以前大家做法就是说，\n要不就写在 prompt 里面我这里面都有什么\n东西，然后后来做 context engineering，\n就是我写一些 skills 把这些说清楚。\n现在更进阶的办法，就是我把这些东西都\n编制在我的 harness environment 里面，才能\n让我系统化的开发所有 agent 都比较好用。\n所以这可能也是我们为什么看到多数的\nharness 的系统现在还都是在 coding agent\n上。可能你要是做这种企业的部署，这\nvertical 这种垂直领域的还是比较难。\n说到这个头，其实 harness 它对于企业\n的一部分需求解决挺好的。就是说这种\nquality 来看，就是刚才说是 coding 嘛。\n他 coding 大家现在看的主要还是这个\nquality 怎么样，因为都是 human in the loop，\n不会太会让这个 coding 完全自动化。\n你最后还是要看一下，哪怕我不看 code，\n我也要看一下这个生产的 app 的结果。\n所以说结果更重要、效率更重要，\n我结果正确概率越大，觉得越好用。\n企业它很多这种自动化的要求的话，\n它希望这东西就是帮我把它做对，\n那这个就需要很大的 guarantee，或者\n是 follow 某一个 rule，永远都要 follow\n这个 rule，那不 follow 的话就是不可以的。\n那这种情况下，在 harness、这种通常的这\nharness 的并没有实际的解决这类问题。\n其实也就是说，harness 并不能够真正的把\n一个可以重复反复的这种 workflow 变成\n一种、就是更 deterministic 这种情况对吧。\n它还是等于做了很多的希望能够让它\n变成更可靠，但是事实上还是会出现各种\n问题。所以如果说用咱以前说的这个\navailability 是几个 9 嘛是吧，我觉得\n现在可能就是一个 9 的状态，90% 做对，\n但是企业可能需要三个 9、四个 9，但一直都\n是这样子，所以还是有很大的距离要做。\n对，确实是。因为像我们内部当时在做这个\nAgent Memory 的 benchmark，我们开源的\n一个东西叫 State-bench，对，之前有说过。\n其实我们另外定义了一个 metrics，\n就是 run 同一个 task run 五遍，看看你\n是不是都能拿到同样的结果对吧。\n就是如果你发现这个有起伏，那就说明\n你这一套 workflow 定义的 harness 就\n不够，对 enterprise 里面就不够可靠。\n5 次都做对，其实也不是那么可靠听起来。\n哈哈。哈哈，对。那这个东西是吧，你要做到多少？\n这个三个 9，那就得 run 多少次，就几万次可能。\n感觉整个就算 harness 现在我们想到的\n这个雏形就做到非常好，也很难去解决这个\n真正 enterprise 里面的这些部署问题。\n对。\n所以我觉得这个 harness 本身的话，\n那可能是至少跟现在的这种方式，\n可能不足以解决 enterprise 的问题。\n那你说下一个东西能解决 enterprise 的\n问题是不是叫 harness？又会起一个新的\n名字对吧。可能现在有叫 Control plane。\nloop engineering 算不算？\n有 loop engineering。\n还有 governance 对吧。然后这些\n东西可能就是下一代东西能\n帮助企业把这个确实做好。\n其实我们前一期录的时候我有分享一点。\n我觉得像 Deepseek 的这种方式，它把所有\n的东西都变成一个 plugin，然后这个其实\n是我觉得是相信大模型的一个做法。\n它甚至连 agent loop 你都可以换掉，\n当然这是需要人去换。我们当时做的\nmemory 就是说，大模型可能不能够很\n稳定的去 call memory，我要做一个\nknowledge base 的种 retrieval 什么时候，\n我就 hard code 进去，每次都做，保证一定\n会有这个 context。这个其实大家就等于\n在这个 loop 里面做了很多很多工作。\n现在这么看来的话，就说 Deepseek 的这个\n角度，它就很明确的是说我们放权了对吧，\n让大模型、让 intelligence 去 lead the way。\n这个我觉得还是、我觉得还是怎么说，我\n觉得从他的角度来，他做这件事非常合理，\n作为一个 open source、相信一个未来的角度。\n对。对于 enterprise，可能大家现在\n还是会说我都 hardcode 起来，\n这样就更确定性更高一点。\n对，所以其实你提到这个所有东西，\n对于我们来说都特别兴奋的。就是说，\n因为我们在做 self improving agent，\n就自我迭代嘛，那你要是能系统性的\n决定你所有东西都是可以自我调整的，\n那就会有最大的 flexibility。就像基因\n对吧，你所有的这个链组都是可以改的，\n那你就是进化就无限的可能对吧。\n所以就是看到他们这样做的时候觉得，\n哦，这个还是有人跟我们想的思路挺\n像的，就认为所有东西都是可以改的。\n但是现在还没有看到改这个 model 自己的\narchitecture、自己 weights 的这个事情，\n可能把这个 fine-tuning 的这东西加进去\n之后，它的连接 model 自己也可以改自己。\n对，这个主要就是叫什么时间 compute 对吧？\n这个可能现在还不是特别 feasible。对，\n但我相信肯定最后也会有人做。但是事实上，\n我觉得这也是一个迷思，我们可能扯远了。\n就是 continuous training 这个话题其实\n是感觉是老生常谈了，其实当时我们在\n做 AI 的很多年前就在做这个，但是好像\n在那个时代也都没有落地。这个就里面\n感觉还是有很多这个叫什么 bottleneck。\n对。\n还是价值不是特别清楚我觉得。因为你像\n之前是 continuous learning 一般都是做\nfine tuning，然后 fine tuning 还比较花数据，\n然后能提高的东西也比较有限，然后还有\n解决这个、还解决不了以前这个会忘记过去\n的问题。所以这东西作为一个卖点的话，\n让用户看到效果可能需要很长的时间。\n我觉得现在的这个 self improvement\n像咱上次聊的，还是面临同样的问题：\n我又怎么样能给这个用户看到价值？他们\n还是很希望现在我买东西现在开箱即用。\n确实是。但我觉得像这个 Deepseek 的话，\n就应该已经帮助很多公司可以做到这个了。\n因为我其实发布以后试了试，然后看了\n网上那些大家用的体验，很多人就是说\n拿来啪一跑，然后换上千问的模型就\n非常强。我觉得这个东西其实就是让\n大家更能够离 frontier 就更近一步。\n对，确实。\n我们刚才提到了这个 Claude 是有\nmanaged agent。当时其实我们很担心的\n一块，就是你如果是大模型公司，你的\nharness 其实是可以和模型一起去训练的。\n如果我们是说一些非常通用的这些\n工具的话，比如说读写一个文件什么，\n这些大家都可以；但一旦涉及到有一些\n比如说你私有化的一些工具，如果是\nfrontier lab，Anthropic、Gemini、OpenAI，\n它是不是就会比其他的这种公司要有\n一个很大的一个优势？当然 Deepseek\n我们说的也是它拥有这个模型。\n那有一些开源的这种做 harness 的话，\n它不能够跟模型强绑定，这种情况\n是不是他们的这竞争力就会差很多？\n这个确实我两边都觉得有可能。\n一方面就是在大模型的话，他们自己\ntrain 自己的 harness，但是他们其实\n想要开发的是更通用的智能对吧。\n所以就是说，一方面我觉得他应该不会\n说是我就要 customize 的 model，假如说\nOpenAI 就是给我 Codex 去 train 我这个\nmodel，以至于它在这 harness 做的很好。\n有可能的可能是说，它能有更早的\naccess 这个 model，然后可能根据这个\n事情把它 harness 做的优化，这个有可能。\n然后回到创业的话，其实你像 Pi 现在大家，\n我虽然说我还没有自己用过，但是现在就是\nfeedback 特别好，就说他们特别的省 token。\n省 token。\n所以至于说这个模型怎么能跟\nharness 做好、然后怎么跟 coding agent\n做的更好的话，我觉得这个也不是说\n别人就没有这个 technology，在大家\n都有这个大模型 access 的前提下。\n因为你像说 Pi 的话，就是我看到他说他很省、\n省 token 的原因，一个就是说他 system\nprompt 是少于 1000 个 token，就非常小；\n其次他整个 harness 里面就只有四个 tool，\n就是读写文件然后改文件，就这些东西。\n从 Deepseek 的角度说，他就非常广泛。\n你再看 Claude code 的话，其实我相信他就\n更多了，因为他还要 manage 自己的 memory。\n他可能、我不知道 Claude 里面还有一些\nAPI，他要 set 一个 outcome 这种东西。\n其实从一定的角度来说，你把这个模型\n和 harness 绑定去做这件事的，其实\n你是有飞轮的、飞轮效应的。因为你说\ncoding Agent 的话，我落地的 Use Case 是这样，\n我可以试试怎么能够把它弄得更好，然后\n反而去看看这东西能不能变成通用的。\n好像就是说直接去做通用，我只是猜想，\n就是说直接做通用的话感觉太广泛了。\n对，确实做通用、直接做通用的难度高很多，\n然后要求也高很多。对，但是如果能把它\n做通，像 cursor 一样对吧，他最后也能\n创业自己的 model，然后他反向的去控制\n这件事情，说不定也是一个创业的机会。\n那说到创业的话，你觉得在企业这边，\n比如说我们做 vertical 和做比较\ngeneralized 的一个 harness 是有区别的吗？\n因为我马上能想到的就比如说我们刚才\n说有不同的工具，我们现在看到的这些\nharness 的工具，好像很难说我想去内部\n调用一个什么 Google Workspace 的 tool，\n或者说想去调用一个微软的什么你的\nidentity 的 tool 对吧。这些东西好像还\n都是比较 specific，而且我们还现在\n说的是……但是对于很多像公司来说，\n它要 private，这个东西就要变得非常难。\n我觉得它是有机会的，就是特别是像\n企业这种应用啊。就特别现在是我们\n看到一个 trend，就是现在很多的企业、\n不同的 industry 的话都在 train 自己\n的这个 domain specific 这些大模型。\n像这个呃，刚刚那个 Harvey 自己那个 legal\n的模型，我们一个叫 Tenet，其中一个例子。\n然后现在还有一些 insurance 公司也要做\n自己的大模型，然后他们每一个 industry\n里面它有非常多的自己的这些条款。\n虽然你说这些 information 有一部分是\npublic information 对吧，但是这个说\nTrain 模型的时候可能没有那么多的区别。\n但是从 harness Environment 来讲，\n如果我们认为 coding 你可以做很多的\nharness，然后我觉得做这些某一个企业\ndomain 的具体业务流程，也会有很多这种\ndomain knowledge 可以强制的加进去的。\n所以我觉得还是，要是这些既然有\nOpen weights 这些模型 fine tune for 某个\ndomain，那我觉得也会有很多这种跟着\n这些模型一起的这些 harness 系统的存在。\n其实我可能看的就跟你不是特别一样。\n我是觉得你要是走 vertical 的话，我相信它\n一定是会有一些 quality，但是我其实比较\n持怀疑态度是，它到底能够有多大的提升。\n因为我们还是回到模型的通用的智能，\n它的能力是变得越来越强了，有些东西\n可能你把它放到模型内部或者放到\nharness 里面，可能就节约更多的一些 token。\n但是事实上它是不是真正能够使得这个\n模型有巨大的提升，这个我确实不知道。\n而且像像 Harvey 那个例子，其实他是把\n模型 train 了对吧，他其实在这个 harness\n上面的话，可能就是说 interaction 也\n是同样的一些东西，这个我就不知道了，\n不知道他们怎么去 run the benchmark。\n我猜应该是会做一些这个 work。就当像我们\n当年在 Orby 做这个 computer use 上面的话，\n我们也下了很多的一些限制吧，当时不叫\nharness，但是现在其实这些事情也都是\n定义在 harness：你怎么 maintain state，\n怎么进入下一步，什么东西可以做、什么\n东西不可以做。所以我觉得可能那个\n这些 legal firm 还是没有到这里吧，他们\n可能还都比较早期，所以说可能有机会。\n它确实像你说的，就是这些小模型啊\n做 harness 这些事情能不能有一个\n实际 meaningful 的提高，这个不知道了。\n但是至少有一个是大家都认可的，\n就是这个会给至少这些企业认为他们\n有 better control，然后至少感觉还是\n有 better control。实际有没有的话呢，\n可能也比较难以衡量，因为你就是很主观\n的事情，它不太容易 apple to apple compare。\n明白。因为我看到的可能就是这些\nOpen Source 的 harness 的 framework\n出来以后，大家测的第一步其实是测的\n这个 token saving，就是看那个 cache 的\nhit rate 到底是有多少。就是你一个 harness\n系统应该是能做到就是 95% 就可以到\n那个 cache 上，这样就是 token cost 一下\n就降下来了对吧。真正的那个你能不能\nDeliver 那个 High Quality，可能还是要\n靠那个模型本身。对，然后要靠那个 tool\n拿回来的这个 quality 好不好。所以我的、\n我可能看到就是说，可能在 cost saving\n上面我觉得它可能会有一个比较大\n的区别，但是 quality 可能打一个问号。\n不管怎么说，现在刚才提到的话，现在\n企业的整个 Agent 的正确率还是不够，\n还是有很大的差距。虽然说有的一些的\n业务流程它对正确率要求没有那么高，\n那些就会更先落地；但是像那些对于正确率\n要求很高、然后它又需要很低的 cost，\n我觉得这里面的话还有很长的路要走。\n说不定你专注做的，还是你做时间够长了，\n可能就变成下一代的系统了。所以这个\n可能也就朝着像所谓的叫做 AI Operating\nSystem，就 AI 操作系统、Agent 操作系统。\n对，还有一个名词叫企业 AI 操作系统。\n那这些其实也都是我要这样一个概念，\n说我要有一个这样一个环境，能让我\n这些 Agent 去做我自己企业的事情。\n确实是。我觉得可能就像我们刚才说这个\nPi 的例子哈，就是它是一个非常迷你版\n的这么一个 harness，那它的受众可能更\n多就是我们说开发者觉得，哎呀好小啊，\n就非常 light weight 非常快就可以，\n我作为一个开发者我可以去、去拓展它。\n但可能对于一个社会来说，它可能更多的是\n需要像你说的就是 Deepseek 这样样类型\n的对吧。他可能要把这个不同的分层啊、\n分级啊，把这个能、这个权力给他分开，\n这样可能大家才会有真正的这种掌控感，\n才能够相信这个模型它做的事情对不对。\n我给你说一个就是我们做的一个\n案例的 use case 很有趣。就是我们聊了\n很多企业，他们其实会有自己的这个\n叫商业逻辑 business logic，然后很多\n这种 business logic 都是说我要先执行\n第一步、执行第二步、再执行第三步，如果\n遇到什么问题，就说我们说的 workflow。\n然后我们让大模型就是说去理解这个，\n看到比如他有这些 flow chart 也好、\n写的这些 manual 也好，他去理解他都可以\n做到非常好。但是当让一个大模型说你\n按照这个东西去一步一步执行的时候，\n大模型就挂掉了。我们虽然说很多模型\n可以在做 instruction following 很正好，\n但是到执行这种真正的、就是实打实的这种\nAPI 然后一步一步执行，它就全都乱掉了，\n它无法真正的去 follow 这个 instruction。\n这个感觉这个地方就像你说的，可能需要\n确实是有一个系统可以保证它对吧，\n按部就班的把它执行好。当然我们说\ncodify 这个东西可能也是一个方式对吧。\n还有举一个例子就是 payment 系统，以后\n可能大家说拿 agent 去买东西或者什么的。\n然后我聊了天的时候有个朋友遇到的\n问题是说，他曾经有一次跟这个模型\n说这是我的 credit card number，然后\n这个大模型就下一次、就是他就直接就\n会拿 credit card 去帮他结算了对吧。\n就是这个东西因为做 decision 和执行的\n发生在同一个层面对吧，他没有把他剥\n离开，这个时候人就完全就 lose control\n了对吧。我觉得好像企业包括我们\n日常还有很多 work，我觉得是真正让\n这个可以让他落地的话，有事情要做。\n对，企业最大的问题是要上 scale 对吧。\n你要是 99% 的正确率，100 次错一次它也\n不能接受，就像你星巴克买咖啡 100 杯\n做错一次，这也不太能接受。所以企业\n的要求还是非常非常高的，对于他们\n不仅是从企业的营收方面考虑，它还有\n很多的 regulation constraints 对吧。\n那些保险公司、银行，它有的非常非常具体\n的机构，那都是涉及到 legal 问题，他会要\n面临罚款，那是比较实打实这个 impact 吧。\n但是如果你说你省的钱只是说少雇了\n一些人的话，这个最后这个 ROI 还是不 work。\n所以企业的话，我觉得这个 harness\n肯定是需要还要升级迭代。然后我还也\n觉得这个 neurosymbolic 也会是其中\n一个很重要的一个互动。我不能想象\n一个至少在企业环境里面一个没有\nneurosymbolic 这样的一个 harness 系统\n的存在，不管这个 model 能力提升有多高。\n后来这个可能就是现在系统的一个 gap，\n我们现在还没有看到一个非常有效的\n系统可以做到这一点。你觉得这一块其实\n可能是一个 one billion dollar question：\n这个 harness 这个东西会不会真正\n的就被模型吃掉呢？因为我们看之前、\n刚才我们刚才也说到了这个，可能\n这个 harness 跟模型一起 train 效果\n更好对吧。那如果就说大模型公司说，\n那这个 harness 包括我们想说的这些\n在 wishlist 上面的东西他们都做到了，\n是不是这一块蛋糕就就都没有了？\n我觉得不太会，还是我还是觉得不太会。\n因为还是像刚才说，我觉得 harness\n系统里面有个重要的部分，就是这个\n会有一个 neurosymbolic 系统的存在。\n它还是要去 symbolify 很多很多事情，\n一个原因在于它很高效，另外一个它\n就是更能做到百分之百的 control。\n所以的话我觉得大模型可以演化、可以演化\n它的能力更强，它可能变得越来越高效。\n但是从让我们变得更容易 control、更容易\n让系统变得更 scalable 的话，我觉得这个\nharness 系统还是必要存在的。你怎么看？\n我跟你相反，我觉得可能这个东西要被\n大模型吃掉。codify 那就是把你现在的\n东西写成 code、code generation，我觉得\n这个问题现在基本上解决了。然后我是\n觉得我同意的一点就是没有解决的，\n就是怎么做这种 permission escalation，\n什么时候 agent 能够干这件事、不能\n干这件事，可能还需要一个第三方\n的一套系统或者 layer 介入对吧。\n是不是 harness 的一部分我不太确定，至少\n我现在来看的话，它可能是不在 harness\n系统里面。其实我给你举个例子，像这个现在\nCPU 芯片对吧，大家都认为 CPU 计算它绝对\n不会出错，但是其实它也是电压控制。对。\n他也会出错。\n它还要是一个 validation 的东西，\n确保我这个 bit 是没有乱掉的。然后呢\n那个东西就是 harness。其实我觉得像\nCPU 这么已经这么规模化、然后这么的、\n这么稳定的一个东西，它也是需要这个\ncheck 的系统的存在。所以我觉得包括电话\n信号传输、高速信号传输，它全都会有一个……\n对。\nchecksum。但是不、就是说用你的理论\n打你的话，它就变成了 CPU 的一部分了。\n你在卖 CPU 的时候你就可以卖这个系统对\n吧，你说你可能要需要另外一套对吧。\n这个东西会不会被这个 Open AI 吃掉？\n确实像你说的可能会被它吃掉。它就是给\n大模型的时候，以后大模型出来了就自带\nharness，那我就配套来的，是很有可能发生\n的吧。是不是需要一个通用的 harness？\n或者说 harness 就会像变成 Checksum\n这样的一个技术，就谁也不能 charge\n钱了，因为它就是一个免费的东西。\n就像 Internet 现在这个技术基本就是\n免费的东西，也有可能变成这个样子。\n终于 OK。好，我们这期 harness 就先聊到这里。\n然后我们说两个上周发生的事情，我可以\n先来。我先说的一个事就是打脸。我们其实\n之前没过两期聊到 OpenRouter，它就被\nStripe 天价收购了，我们说它没有护城河，\n然后啪啪打脸，所以这个还是蛮有趣的。\n确实是，没有护城河也能卖六个 billion。\n比如说你有 volume 对吧、有用户，我觉得\n就可以。但是我也是瞎猜测，就是说毕竟\n你看他们的 business model 很像，就是说\n都是做这种平台中枢型的东西对吧，\n然后集散。只不过 Stripe 并没有说是\n在核心的这个 GenAI 的赛道，它通过\n这个可能也就是说拓宽了它这个赛道，\n并且可以 diversify 它的 business。\n我觉得可能还是这个 Stripe 比较\ndesperate，他就是想要讲一个 AI 的 story，\n然后也是找了一个这么一个非常 unique、\n像你说的一种非常契合的一个东西，\n他们作为其入口。相当于就是花六个\nbillion 买一个机会，说不定这个\n下个季度财报就把这钱挣回来了。\n可以看看他们怎么去运行。\n咱们如果是到时候他们 CEO\n上来讲这事，咱们会回答。\n然后我可能要讲的话，就是这周的话\nNVidia 宣布他们要投入 6 个 billion，\n这是真金白银 6 个 billion 去做 open\nweights model。他们的口号要做最好的 US\n的 open weight model，我觉得这个让我看到\n还是挺振奋人心的。然后连着这个的话，\n说不定他们下一步就会 launch 一个\nNvidia 版本的 harness system 给大家用。\n有可能，有可能。\n我觉得还蛮看好的，因为之前还有不少\n的谷歌的同事都跑到了 NVidia，对。\n然后包括他们的一个 Infra 啊、\nTraining 啊，对，所以还挺拭目以待的。\n现在我们用 Nemotron 体验就特别好。\n现在我们有个 Spark 那个机器，DGX 的 Spark，\n那个机器跑那个千问 3.8，就比那个那个\nNemotron 慢很多，就慢将近 10 倍左右。\n好的，我们这期就聊到这里，大家拜拜。\n拜拜。", "language": "zh", "duration": 1935.0, "segments": [ { "id": 0, "start": 8.0, "end": 10.113, "text": "哈喽大家好，我是 Lewis。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 1, "start": 10.113, "end": 11.201, "text": "大家好，我是 Will。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 2, "start": 11.201, "end": 13.75, "text": "这期我们其实想接着上次，我们留", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 3, "start": 13.75, "end": 16.294, "text": "了一个话题，是说讲 agent harness。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 4, "start": 16.294, "end": 18.756, "text": "然后 agent harness 最近也是非常的火，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 5, "start": 18.756, "end": 21.906, "text": "感觉这一波是 Deepseek 带起来的。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 6, "start": 21.906, "end": 24.206, "text": "他把自己的这套 core 的 harness 给", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 7, "start": 24.206, "end": 26.295, "text": "open source 了，然后一下就点爆了", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 8, "start": 26.295, "end": 29.794, "text": "这个 community，大家就开始试它。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 9, "start": 29.794, "end": 32.08, "text": "这个东西不如我们先给大家来说一说，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 10, "start": 32.08, "end": 35.04, "text": "agent harness 到底是什么。我的理解的话呢，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 11, "start": 35.04, "end": 37.775, "text": "这个 harness 还是非常重要的一个环节，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 12, "start": 37.775, "end": 40.885, "text": "就特别是在 agent 这个年代。咱先说它", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 13, "start": 40.885, "end": 44.309, "text": "功能性上来说的话，它提到的一个最大的、", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 14, "start": 44.309, "end": 48.259, "text": "提供一个最大的一个价值在于，以前的话呢，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 15, "start": 48.259, "end": 52.275, "text": "大家认为这个 agent 都是这种对话式的，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 16, "start": 52.275, "end": 55.487, "text": "他做任务都是一件事一件事，就就说我要", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 17, "start": 55.487, "end": 59.372, "text": "生成一个 doc、生成一个 image。但是的话，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 18, "start": 59.372, "end": 63.488, "text": "就是这个 harness 就变、就是让这个 agent 能", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 19, "start": 63.488, "end": 66.453, "text": "run 这种 long horizon task，就是几个小时", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 20, "start": 66.453, "end": 68.648, "text": "的这种 task。然后整个过程当中，它需要", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 21, "start": 68.648, "end": 72.155, "text": "一个一整套的 evaluation validation", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 22, "start": 72.155, "end": 75.045, "text": "然后 self correction，这一套的机制能", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 23, "start": 75.045, "end": 78.125, "text": "保证它能做一个更长的 task。我的从功能", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 24, "start": 78.125, "end": 80.766, "text": "上理解是这样理解的，我不知道你怎么看。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 25, "start": 80.766, "end": 82.903, "text": "从产品来说吧，我觉得可能就是说，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 26, "start": 82.903, "end": 85.817, "text": "大家刚开始做这个大语言模型，可能更", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 27, "start": 85.817, "end": 88.657, "text": "多的就是看这个叫什么，这个光标对吧，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 28, "start": 88.657, "end": 91.461, "text": "就是我打进去一个一个问题，然后你模型", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 29, "start": 91.461, "end": 93.972, "text": "给我一个答案，这可能是第一个雏形。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 30, "start": 93.972, "end": 95.45, "text": "那个时候就是比较热门的就是叫", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 31, "start": 95.45, "end": 98.428, "text": "prompt engineering 对吧，大家想怎么把", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 32, "start": 98.428, "end": 101.568, "text": "这个 prompt 写好。然后当时其实我们内部", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 33, "start": 101.568, "end": 105.424, "text": "还在说，每一个模型它都有自己的个性，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 34, "start": 105.424, "end": 108.409, "text": "所以你用你自己的一套 prompt 去跟", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 35, "start": 108.409, "end": 112.185, "text": "OpenAI 说话，再去跟 Gemini 说话，他的理解", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 36, "start": 112.185, "end": 114.673, "text": "不太一样。所以当时模型能力也是受限，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 37, "start": 114.673, "end": 116.748, "text": "所以我们说 prompt engineering。对，后来", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 38, "start": 116.748, "end": 118.552, "text": "就变成了叫 context engineering 对吧。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 39, "start": 118.552, "end": 120.971, "text": "context engineering 就是说你怎么把", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 40, "start": 120.971, "end": 123.598, "text": "合适的东西放在 prompt 里面，然后让", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 41, "start": 123.598, "end": 126.421, "text": "模型可以更有效。这个时候我觉得好像", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 42, "start": 126.421, "end": 129.414, "text": "大家还都是在做怎么回答好一个问题。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 43, "start": 129.414, "end": 132.233, "text": "现在我觉得就是说，我们一直得强调", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 44, "start": 132.233, "end": 135.229, "text": "ROI 对吧，就是说企业要买模型然后", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 45, "start": 135.229, "end": 137.802, "text": "部署这个东西，他要的是能够落地，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 46, "start": 137.802, "end": 140.758, "text": "他能让模型真正的去做一些任务。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 47, "start": 140.758, "end": 144.802, "text": "一旦做任务的话，就不只是简单是拿一个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 48, "start": 144.802, "end": 147.89, "text": "这个叫什么答案回来了，那他就可以要、", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 49, "start": 147.89, "end": 151.904, "text": "要去执行代码对吧，要去 call API，然后要", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 50, "start": 151.904, "end": 155.565, "text": "保证这些东西能够安全然后合规对吧。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 51, "start": 155.565, "end": 158.162, "text": "这个 Harness 其实就是衍生出来的这", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 52, "start": 158.162, "end": 161.419, "text": "一套在模型外面的系统，能够更好的、就是", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 53, "start": 161.419, "end": 164.253, "text": "让这种像你刚刚说了这个可以跑很多", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 54, "start": 164.253, "end": 167.223, "text": "天的这种这种任务对吧，能够真正落地。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 55, "start": 167.223, "end": 170.353, "text": "我觉得就是说，可能他就是帮人们从一个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 56, "start": 170.353, "end": 174.984, "text": "简单的一个模型扩展到了一个一个系统。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 57, "start": 175.609, "end": 178.322, "text": "所以我是一个自然的 agent 发展的过来", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 58, "start": 178.322, "end": 180.291, "text": "一个，在我眼里的话，不觉得它是一个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 59, "start": 180.291, "end": 183.11, "text": "新生物种。我觉得它就是一个 agent 在", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 60, "start": 183.11, "end": 186.38, "text": "自我发展的过程当中自然而然产生", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 61, "start": 186.38, "end": 190.809, "text": "的一个更系统化、更复杂、更大规模、", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 62, "start": 190.809, "end": 194.598, "text": "更 engineering 的一个系统组件吧。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 63, "start": 194.598, "end": 198.047, "text": "对，这就是一个就像你说的，在每一个发展的", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 64, "start": 198.047, "end": 200.43, "text": "阶段，好像大家意识到一个新的问题对吧。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 65, "start": 200.43, "end": 202.856, "text": "遇到一个新的问题，我们再给它起一个名字，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 66, "start": 202.856, "end": 204.774, "text": "把它当成一个问题然后来解决对吧。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 67, "start": 204.774, "end": 207.826, "text": "可能在当前那个阶段，现在大家要讲求它", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 68, "start": 207.826, "end": 211.227, "text": "可以帮你去、就是自动化这些 task 对吧，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 69, "start": 211.227, "end": 214.677, "text": "那 harness 就产生了。那我们不如来说", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 70, "start": 214.677, "end": 219.282, "text": "一说 Deepseek 它做的 harness 系统。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 71, "start": 219.282, "end": 222.717, "text": "Deepseek 好像它 Open Source 大家都非常", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 72, "start": 222.717, "end": 225.434, "text": "喜欢的原因，是它把它变成了模组化，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 73, "start": 225.434, "end": 229.762, "text": "好像每一个都是一个 plugin、都是一个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 74, "start": 229.762, "end": 232.872, "text": "插件，然后大家都可以用来不同的", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 75, "start": 232.872, "end": 236.466, "text": "组件来更换。这个的话是不是对企业、", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 76, "start": 236.466, "end": 239.622, "text": "对很多开发的时候就有很大的帮助？", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 77, "start": 239.622, "end": 244.078, "text": "对，从本质上的话，就把 harness 这个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 78, "start": 244.078, "end": 247.389, "text": "事情变得更容易 engineering 了，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 79, "start": 247.389, "end": 249.869, "text": "就变得更容易去拆组，然后根据自己", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 80, "start": 249.869, "end": 253.822, "text": "的需求然后调整 harness 的 behavior。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 81, "start": 253.822, "end": 256.222, "text": "像以前的话大家都是在 Agent Loop 里面", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 82, "start": 256.222, "end": 259.591, "text": "加一些 tool、加一些 command、加一些", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 83, "start": 259.591, "end": 263.95, "text": "permission check 这些事情，但是它", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 84, "start": 263.95, "end": 268.118, "text": "没有更系统化的去把整个 Agent Loop", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 85, "start": 268.118, "end": 272.496, "text": "里面不同的组件可以任意地搭配起来。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 86, "start": 273.158, "end": 276.575, "text": "其实我们之前好像讲 memory 那期也涉及", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 87, "start": 276.575, "end": 279.556, "text": "到了这些方面的话题。我们通常来说这个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 88, "start": 279.556, "end": 283.765, "text": "Agent Loop 是比较简单的，就说你有没有", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 89, "start": 283.765, "end": 287.599, "text": "达到最终的目标、也完成这个任务，没完成", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 90, "start": 287.599, "end": 290.798, "text": "你就自动去、自己去发现为什么没有完成。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 91, "start": 290.798, "end": 293.427, "text": "在这个过程中的话，就需要这种不同", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 92, "start": 293.427, "end": 296.337, "text": "的组件然后去支持它完成这件事情。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 93, "start": 296.337, "end": 299.597, "text": "所以可能这种模块化的话，就让这种", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 94, "start": 299.597, "end": 304.04, "text": "工程学来说更容易，大家只需要用同样", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 95, "start": 304.04, "end": 307.683, "text": "的这么一个模板，对，把适应、对应的这些", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 96, "start": 307.683, "end": 310.446, "text": "东西拿进来，它很容易就可以工作了。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 97, "start": 310.446, "end": 315.627, "text": "对，其实就是把 agent 的一些 best practice", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 98, "start": 315.627, "end": 318.186, "text": "以一种可拼装的形式组在一起。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 99, "start": 318.638, "end": 321.697, "text": "你觉得这个 Deepseek 为什么会 open source", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 100, "start": 321.697, "end": 323.482, "text": "这个？因为你像我们之前内部的话，曾经", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 101, "start": 323.482, "end": 326.191, "text": "还有一段时间看这个 Claude Code 对吧，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 102, "start": 326.191, "end": 328.147, "text": "他做了这个 managed agent，然后大家", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 103, "start": 328.147, "end": 330.097, "text": "都说，哇，他这个 harness 做的真不错。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 104, "start": 330.097, "end": 332.61, "text": "他就会觉得这个 harness 感觉是", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 105, "start": 332.61, "end": 334.838, "text": "又是一个下一个风口对吧，所以要", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 106, "start": 334.838, "end": 337.72, "text": "赶快去做这件事。但是这个 Deepseek", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 107, "start": 337.72, "end": 340.258, "text": "直接就把他自己的这一套给开源了。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 108, "start": 340.814, "end": 343.847, "text": "我当时看到开源的时候，我主要是", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 109, "start": 343.847, "end": 346.739, "text": "当时的思考逻辑就是说，他把它、因为", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 110, "start": 346.739, "end": 350.62, "text": "Deepseek 他们是开源模型对吧，他是模型。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 111, "start": 350.62, "end": 353.24, "text": "一般的人都不会自己在、不会用这个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 112, "start": 353.24, "end": 355.876, "text": "Deepseek 自己的提供 API 去用这些大模型，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 113, "start": 355.876, "end": 358.222, "text": "或者用 Deepseek 的 service 去用这些", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 114, "start": 358.222, "end": 359.955, "text": "大模型，他可能在任意地方去 serve。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 115, "start": 359.955, "end": 361.994, "text": "他一旦自己 serve 这些 model 的时候，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 116, "start": 361.994, "end": 363.519, "text": "他就会面临一个问题：那我用什么样的", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 117, "start": 363.519, "end": 366.118, "text": "harness environment 去做这件事情？", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 118, "start": 366.118, "end": 369.621, "text": "你也可以用 OpenAI 的，你也可以用 Claude，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 119, "start": 369.621, "end": 372.42, "text": "但是可能最好的就不如用一个它自、这个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 120, "start": 372.42, "end": 375.677, "text": "Deepseek 调制好的这样的一个 harness。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 121, "start": 375.677, "end": 377.894, "text": "这样的话，大家对于这个 Deepseek 这个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 122, "start": 377.894, "end": 380.089, "text": "model，特别是那些小一点 weights", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 123, "start": 380.089, "end": 382.168, "text": "的 model、小一点的 model，可能就是", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 124, "start": 382.168, "end": 384.296, "text": "使用体验会好很多。所以整体来说，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 125, "start": 384.296, "end": 386.614, "text": "可能就是这个能 help 他们的 adoption。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 126, "start": 386.614, "end": 389.313, "text": "对，我们刚才提出说到一点我还觉得挺、", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 127, "start": 389.313, "end": 392.32, "text": "就突然我想到了哈，就是用 Deepseek", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 128, "start": 392.32, "end": 394.377, "text": "的很多企业，可能他真的不会去、", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 129, "start": 394.377, "end": 397.978, "text": "就是去 call 这个 Deepseek 的 API 对吧。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 130, "start": 397.978, "end": 399.987, "text": "他可能觉得不、这个对吧，不太信任。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 131, "start": 399.987, "end": 403.288, "text": "反而他可能就是把这个 open weights model", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 132, "start": 403.288, "end": 405.745, "text": "用在自己的数据中心，或者是其他的云", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 133, "start": 405.745, "end": 408.665, "text": "对吧。那这个时候他就非常的独立了，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 134, "start": 408.665, "end": 411.178, "text": "那他就等于这个、这个系统没有。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 135, "start": 411.178, "end": 413.23, "text": "那对于 Deepseek 来说，那可能我把这", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 136, "start": 413.23, "end": 416.551, "text": "一部分也开源了，也是他唯一的途径。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 137, "start": 416.568, "end": 421.334, "text": "要不然他也很难说有一套像 Claude", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 138, "start": 421.334, "end": 423.746, "text": "一样，他做一个 managed service，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 139, "start": 423.746, "end": 425.036, "text": "大家可能也很难信任他，然后去", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 140, "start": 425.036, "end": 427.104, "text": "把这个服务 run 在他这个上面。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 141, "start": 427.104, "end": 431.341, "text": "其实 Deepseek 的 CEO 梁文锋之前在一次", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 142, "start": 431.341, "end": 433.693, "text": "的这个泄露的内部会议上面，其实提到", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 143, "start": 433.693, "end": 436.384, "text": "过一次，他们说他们就要专注、专注于做", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 144, "start": 436.384, "end": 440.711, "text": "generic 大模型，其实没有提到这个 harness。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 145, "start": 440.711, "end": 442.887, "text": "然后我觉得他们现在把这个放出来，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 146, "start": 442.887, "end": 446.34, "text": "不知道是他们以后就要专注这个方向、", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 147, "start": 446.34, "end": 448.508, "text": "然后持续放出来这个东西，还是说我这", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 148, "start": 448.508, "end": 450.845, "text": "东西做了一个版本把它 open source", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 149, "start": 450.845, "end": 453.324, "text": "出去，不做我们一个拳头产品做研发。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 150, "start": 453.404, "end": 456.498, "text": "你这个角度很有趣，其实也可以是我们下", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 151, "start": 456.498, "end": 459.417, "text": "一个话题：这东西为什么就突然火了对吧？", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 152, "start": 459.417, "end": 462.025, "text": "是不是因为这些像你说 Deepseek 这些", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 153, "start": 462.025, "end": 464.802, "text": "大模型公司突然发现，好像模型卷的东西", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 154, "start": 464.802, "end": 468.162, "text": "不多了，然后这个外边有好多新的一个领域", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 155, "start": 468.162, "end": 471.904, "text": "可以去卷，然后所以大家都开始做 harness。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 156, "start": 473.308, "end": 476.906, "text": "其实我觉得在应用环境当中，除了这非常", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 157, "start": 476.906, "end": 482.498, "text": "generic 的 task，harness 这个东西还是", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 158, "start": 482.498, "end": 485.976, "text": "非常复杂的。包括我内部的 API 怎么调用，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 159, "start": 485.976, "end": 488.459, "text": "假如你一个公司内部开发了某一个 API，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 160, "start": 488.459, "end": 491.008, "text": "或者说某一个 validation 那个东西，或者", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 161, "start": 491.008, "end": 494.865, "text": "某个 rule，这些大模型其实很难知道的。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 162, "start": 494.865, "end": 497.719, "text": "然后这些 API 可能定义的非常的不直觉，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 163, "start": 497.719, "end": 501.908, "text": "也非常不符合这个 semantic 的定义，就需要", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 164, "start": 501.908, "end": 505.32, "text": "去做这个 harness。以前大家做法就是说，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 165, "start": 505.32, "end": 507.808, "text": "要不就写在 prompt 里面我这里面都有什么", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 166, "start": 507.808, "end": 510.265, "text": "东西，然后后来做 context engineering，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 167, "start": 510.265, "end": 513.604, "text": "就是我写一些 skills 把这些说清楚。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 168, "start": 513.604, "end": 515.596, "text": "现在更进阶的办法，就是我把这些东西都", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 169, "start": 515.596, "end": 518.122, "text": "编制在我的 harness environment 里面，才能", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 170, "start": 518.122, "end": 521.82, "text": "让我系统化的开发所有 agent 都比较好用。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 171, "start": 521.82, "end": 524.258, "text": "所以这可能也是我们为什么看到多数的", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 172, "start": 524.258, "end": 527.753, "text": "harness 的系统现在还都是在 coding agent", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 173, "start": 527.753, "end": 530.12, "text": "上。可能你要是做这种企业的部署，这", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 174, "start": 530.12, "end": 534.12, "text": "vertical 这种垂直领域的还是比较难。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 175, "start": 534.46, "end": 536.867, "text": "说到这个头，其实 harness 它对于企业", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 176, "start": 536.867, "end": 538.791, "text": "的一部分需求解决挺好的。就是说这种", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 177, "start": 538.791, "end": 541.867, "text": "quality 来看，就是刚才说是 coding 嘛。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 178, "start": 541.867, "end": 544.6, "text": "他 coding 大家现在看的主要还是这个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 179, "start": 544.6, "end": 546.84, "text": "quality 怎么样，因为都是 human in the loop，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 180, "start": 546.84, "end": 548.874, "text": "不会太会让这个 coding 完全自动化。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 181, "start": 548.874, "end": 551.15, "text": "你最后还是要看一下，哪怕我不看 code，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 182, "start": 551.15, "end": 552.94, "text": "我也要看一下这个生产的 app 的结果。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 183, "start": 552.94, "end": 555.54, "text": "所以说结果更重要、效率更重要，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 184, "start": 555.54, "end": 558.34, "text": "我结果正确概率越大，觉得越好用。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 185, "start": 564.414, "end": 566.981, "text": "企业它很多这种自动化的要求的话，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 186, "start": 566.981, "end": 570.393, "text": "它希望这东西就是帮我把它做对，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 187, "start": 570.393, "end": 573.085, "text": "那这个就需要很大的 guarantee，或者", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 188, "start": 573.085, "end": 575.404, "text": "是 follow 某一个 rule，永远都要 follow", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 189, "start": 575.404, "end": 578.454, "text": "这个 rule，那不 follow 的话就是不可以的。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 190, "start": 578.454, "end": 580.395, "text": "那这种情况下，在 harness、这种通常的这", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 191, "start": 580.395, "end": 583.674, "text": "harness 的并没有实际的解决这类问题。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 192, "start": 584.252, "end": 587.965, "text": "其实也就是说，harness 并不能够真正的把", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 193, "start": 587.965, "end": 592.493, "text": "一个可以重复反复的这种 workflow 变成", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 194, "start": 592.493, "end": 597.038, "text": "一种、就是更 deterministic 这种情况对吧。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 195, "start": 597.038, "end": 600.554, "text": "它还是等于做了很多的希望能够让它", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 196, "start": 600.554, "end": 604.22, "text": "变成更可靠，但是事实上还是会出现各种", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 197, "start": 604.22, "end": 606.245, "text": "问题。所以如果说用咱以前说的这个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 198, "start": 606.245, "end": 609.164, "text": "availability 是几个 9 嘛是吧，我觉得", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 199, "start": 609.164, "end": 612.514, "text": "现在可能就是一个 9 的状态，90% 做对，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 200, "start": 612.514, "end": 615.66, "text": "但是企业可能需要三个 9、四个 9，但一直都", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 201, "start": 615.66, "end": 618.784, "text": "是这样子，所以还是有很大的距离要做。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 202, "start": 619.068, "end": 621.766, "text": "对，确实是。因为像我们内部当时在做这个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 203, "start": 621.766, "end": 624.981, "text": "Agent Memory 的 benchmark，我们开源的", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 204, "start": 624.981, "end": 627.433, "text": "一个东西叫 State-bench，对，之前有说过。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 205, "start": 627.433, "end": 630.345, "text": "其实我们另外定义了一个 metrics，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 206, "start": 630.345, "end": 633.05, "text": "就是 run 同一个 task run 五遍，看看你", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 207, "start": 633.05, "end": 635.284, "text": "是不是都能拿到同样的结果对吧。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 208, "start": 635.284, "end": 638.265, "text": "就是如果你发现这个有起伏，那就说明", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 209, "start": 638.265, "end": 640.991, "text": "你这一套 workflow 定义的 harness 就", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 210, "start": 640.991, "end": 644.744, "text": "不够，对 enterprise 里面就不够可靠。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 211, "start": 644.744, "end": 647.368, "text": "5 次都做对，其实也不是那么可靠听起来。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 212, "start": 647.368, "end": 650.754, "text": "哈哈。哈哈，对。那这个东西是吧，你要做到多少？", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 213, "start": 650.754, "end": 654.688, "text": "这个三个 9，那就得 run 多少次，就几万次可能。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 214, "start": 655.624, "end": 658.891, "text": "感觉整个就算 harness 现在我们想到的", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 215, "start": 658.891, "end": 661.827, "text": "这个雏形就做到非常好，也很难去解决这个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 216, "start": 661.827, "end": 664.904, "text": "真正 enterprise 里面的这些部署问题。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 217, "start": 664.904, "end": 665.604, "text": "对。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 218, "start": 665.604, "end": 669.866, "text": "所以我觉得这个 harness 本身的话，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 219, "start": 669.866, "end": 672.28, "text": "那可能是至少跟现在的这种方式，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 220, "start": 672.28, "end": 674.454, "text": "可能不足以解决 enterprise 的问题。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 221, "start": 674.454, "end": 676.932, "text": "那你说下一个东西能解决 enterprise 的", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 222, "start": 676.932, "end": 679.245, "text": "问题是不是叫 harness？又会起一个新的", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 223, "start": 679.245, "end": 682.956, "text": "名字对吧。可能现在有叫 Control plane。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 224, "start": 682.956, "end": 685.196, "text": "loop engineering 算不算？", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 225, "start": 685.196, "end": 686.596, "text": "有 loop engineering。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 226, "start": 686.596, "end": 689.407, "text": "还有 governance 对吧。然后这些", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 227, "start": 689.407, "end": 691.456, "text": "东西可能就是下一代东西能", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 228, "start": 691.456, "end": 693.656, "text": "帮助企业把这个确实做好。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 229, "start": 693.996, "end": 698.144, "text": "其实我们前一期录的时候我有分享一点。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 230, "start": 698.144, "end": 701.085, "text": "我觉得像 Deepseek 的这种方式，它把所有", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 231, "start": 701.085, "end": 704.536, "text": "的东西都变成一个 plugin，然后这个其实", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 232, "start": 704.536, "end": 707.445, "text": "是我觉得是相信大模型的一个做法。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 233, "start": 707.445, "end": 711.308, "text": "它甚至连 agent loop 你都可以换掉，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 234, "start": 711.308, "end": 714.248, "text": "当然这是需要人去换。我们当时做的", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 235, "start": 714.248, "end": 718.499, "text": "memory 就是说，大模型可能不能够很", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 236, "start": 718.499, "end": 722.686, "text": "稳定的去 call memory，我要做一个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 237, "start": 722.686, "end": 725.096, "text": "knowledge base 的种 retrieval 什么时候，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 238, "start": 725.096, "end": 727.763, "text": "我就 hard code 进去，每次都做，保证一定", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 239, "start": 727.763, "end": 731.344, "text": "会有这个 context。这个其实大家就等于", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 240, "start": 731.344, "end": 734.219, "text": "在这个 loop 里面做了很多很多工作。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 241, "start": 734.219, "end": 737.527, "text": "现在这么看来的话，就说 Deepseek 的这个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 242, "start": 737.527, "end": 740.381, "text": "角度，它就很明确的是说我们放权了对吧，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 243, "start": 740.381, "end": 745.814, "text": "让大模型、让 intelligence 去 lead the way。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 244, "start": 745.814, "end": 749.59, "text": "这个我觉得还是、我觉得还是怎么说，我", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 245, "start": 749.59, "end": 751.751, "text": "觉得从他的角度来，他做这件事非常合理，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 246, "start": 751.751, "end": 754.456, "text": "作为一个 open source、相信一个未来的角度。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 247, "start": 754.456, "end": 756.586, "text": "对。对于 enterprise，可能大家现在", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 248, "start": 756.586, "end": 758.574, "text": "还是会说我都 hardcode 起来，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 249, "start": 758.574, "end": 760.876, "text": "这样就更确定性更高一点。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 250, "start": 761.87, "end": 764.921, "text": "对，所以其实你提到这个所有东西，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 251, "start": 764.921, "end": 766.882, "text": "对于我们来说都特别兴奋的。就是说，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 252, "start": 766.882, "end": 768.971, "text": "因为我们在做 self improving agent，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 253, "start": 768.971, "end": 771.936, "text": "就自我迭代嘛，那你要是能系统性的", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 254, "start": 771.936, "end": 775.806, "text": "决定你所有东西都是可以自我调整的，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 255, "start": 775.806, "end": 779.633, "text": "那就会有最大的 flexibility。就像基因", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 256, "start": 779.633, "end": 782.435, "text": "对吧，你所有的这个链组都是可以改的，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 257, "start": 782.435, "end": 785.118, "text": "那你就是进化就无限的可能对吧。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 258, "start": 785.118, "end": 788.531, "text": "所以就是看到他们这样做的时候觉得，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 259, "start": 788.531, "end": 790.943, "text": "哦，这个还是有人跟我们想的思路挺", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 260, "start": 790.943, "end": 793.865, "text": "像的，就认为所有东西都是可以改的。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 261, "start": 793.865, "end": 797.154, "text": "但是现在还没有看到改这个 model 自己的", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 262, "start": 797.154, "end": 800.674, "text": "architecture、自己 weights 的这个事情，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 263, "start": 800.674, "end": 802.726, "text": "可能把这个 fine-tuning 的这东西加进去", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 264, "start": 802.726, "end": 804.703, "text": "之后，它的连接 model 自己也可以改自己。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 265, "start": 804.703, "end": 808.643, "text": "对，这个主要就是叫什么时间 compute 对吧？", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 266, "start": 808.743, "end": 810.95, "text": "这个可能现在还不是特别 feasible。对，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 267, "start": 811.158, "end": 815.096, "text": "但我相信肯定最后也会有人做。但是事实上，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 268, "start": 815.303, "end": 817.603, "text": "我觉得这也是一个迷思，我们可能扯远了。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 269, "start": 817.723, "end": 820.843, "text": "就是 continuous training 这个话题其实", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 270, "start": 820.843, "end": 824.83, "text": "是感觉是老生常谈了，其实当时我们在", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 271, "start": 824.83, "end": 827.883, "text": "做 AI 的很多年前就在做这个，但是好像", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 272, "start": 827.883, "end": 831.369, "text": "在那个时代也都没有落地。这个就里面", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 273, "start": 831.369, "end": 835.295, "text": "感觉还是有很多这个叫什么 bottleneck。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 274, "start": 835.295, "end": 836.295, "text": "对。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 275, "start": 837.503, "end": 842.514, "text": "还是价值不是特别清楚我觉得。因为你像", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 276, "start": 842.514, "end": 845.127, "text": "之前是 continuous learning 一般都是做", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 277, "start": 845.127, "end": 848.341, "text": "fine tuning，然后 fine tuning 还比较花数据，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 278, "start": 848.341, "end": 851.605, "text": "然后能提高的东西也比较有限，然后还有", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 279, "start": 851.605, "end": 855.247, "text": "解决这个、还解决不了以前这个会忘记过去", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 280, "start": 855.247, "end": 860.082, "text": "的问题。所以这东西作为一个卖点的话，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 281, "start": 860.082, "end": 862.857, "text": "让用户看到效果可能需要很长的时间。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 282, "start": 862.857, "end": 865.569, "text": "我觉得现在的这个 self improvement", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 283, "start": 865.569, "end": 867.457, "text": "像咱上次聊的，还是面临同样的问题：", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 284, "start": 867.457, "end": 871.161, "text": "我又怎么样能给这个用户看到价值？他们", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 285, "start": 871.161, "end": 874.597, "text": "还是很希望现在我买东西现在开箱即用。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 286, "start": 875.071, "end": 877.69, "text": "确实是。但我觉得像这个 Deepseek 的话，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 287, "start": 877.69, "end": 881.157, "text": "就应该已经帮助很多公司可以做到这个了。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 288, "start": 881.157, "end": 884.16, "text": "因为我其实发布以后试了试，然后看了", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 289, "start": 884.16, "end": 887.22, "text": "网上那些大家用的体验，很多人就是说", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 290, "start": 887.22, "end": 890.398, "text": "拿来啪一跑，然后换上千问的模型就", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 291, "start": 890.398, "end": 893.498, "text": "非常强。我觉得这个东西其实就是让", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 292, "start": 893.498, "end": 897.311, "text": "大家更能够离 frontier 就更近一步。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 293, "start": 898.243, "end": 899.543, "text": "对，确实。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 294, "start": 899.551, "end": 901.931, "text": "我们刚才提到了这个 Claude 是有", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 295, "start": 901.931, "end": 905.864, "text": "managed agent。当时其实我们很担心的", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 296, "start": 905.864, "end": 909.033, "text": "一块，就是你如果是大模型公司，你的", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 297, "start": 909.033, "end": 912.684, "text": "harness 其实是可以和模型一起去训练的。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 298, "start": 912.684, "end": 916.151, "text": "如果我们是说一些非常通用的这些", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 299, "start": 916.151, "end": 919.151, "text": "工具的话，比如说读写一个文件什么，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 300, "start": 919.151, "end": 922.237, "text": "这些大家都可以；但一旦涉及到有一些", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 301, "start": 922.237, "end": 925.392, "text": "比如说你私有化的一些工具，如果是", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 302, "start": 925.392, "end": 931.69, "text": "frontier lab，Anthropic、Gemini、OpenAI，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 303, "start": 931.69, "end": 933.715, "text": "它是不是就会比其他的这种公司要有", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 304, "start": 933.715, "end": 936.565, "text": "一个很大的一个优势？当然 Deepseek", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 305, "start": 936.565, "end": 938.979, "text": "我们说的也是它拥有这个模型。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 306, "start": 938.979, "end": 942.081, "text": "那有一些开源的这种做 harness 的话，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 307, "start": 942.081, "end": 944.497, "text": "它不能够跟模型强绑定，这种情况", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 308, "start": 944.497, "end": 948.065, "text": "是不是他们的这竞争力就会差很多？", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 309, "start": 948.667, "end": 952.047, "text": "这个确实我两边都觉得有可能。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 310, "start": 952.047, "end": 954.819, "text": "一方面就是在大模型的话，他们自己", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 311, "start": 954.819, "end": 957.647, "text": "train 自己的 harness，但是他们其实", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 312, "start": 957.647, "end": 960.54, "text": "想要开发的是更通用的智能对吧。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 313, "start": 960.54, "end": 965.522, "text": "所以就是说，一方面我觉得他应该不会", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 314, "start": 965.522, "end": 969.918, "text": "说是我就要 customize 的 model，假如说", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 315, "start": 969.918, "end": 973.515, "text": "OpenAI 就是给我 Codex 去 train 我这个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 316, "start": 973.515, "end": 977.072, "text": "model，以至于它在这 harness 做的很好。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 317, "start": 977.072, "end": 979.213, "text": "有可能的可能是说，它能有更早的", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 318, "start": 979.213, "end": 982.439, "text": "access 这个 model，然后可能根据这个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 319, "start": 982.439, "end": 987.239, "text": "事情把它 harness 做的优化，这个有可能。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 320, "start": 987.239, "end": 991.003, "text": "然后回到创业的话，其实你像 Pi 现在大家，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 321, "start": 991.003, "end": 993.095, "text": "我虽然说我还没有自己用过，但是现在就是", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 322, "start": 993.095, "end": 996.703, "text": "feedback 特别好，就说他们特别的省 token。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 323, "start": 996.703, "end": 997.943, "text": "省 token。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 324, "start": 1000.559, "end": 1002.339, "text": "所以至于说这个模型怎么能跟", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 325, "start": 1002.339, "end": 1005.639, "text": "harness 做好、然后怎么跟 coding agent", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 326, "start": 1005.639, "end": 1007.539, "text": "做的更好的话，我觉得这个也不是说", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 327, "start": 1007.539, "end": 1010.001, "text": "别人就没有这个 technology，在大家", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 328, "start": 1010.001, "end": 1012.415, "text": "都有这个大模型 access 的前提下。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 329, "start": 1012.415, "end": 1015.165, "text": "因为你像说 Pi 的话，就是我看到他说他很省、", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 330, "start": 1015.165, "end": 1018.018, "text": "省 token 的原因，一个就是说他 system", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 331, "start": 1018.018, "end": 1020.959, "text": "prompt 是少于 1000 个 token，就非常小；", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 332, "start": 1020.959, "end": 1024.945, "text": "其次他整个 harness 里面就只有四个 tool，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 333, "start": 1024.945, "end": 1027.855, "text": "就是读写文件然后改文件，就这些东西。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 334, "start": 1027.855, "end": 1031.248, "text": "从 Deepseek 的角度说，他就非常广泛。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 335, "start": 1031.248, "end": 1034.881, "text": "你再看 Claude code 的话，其实我相信他就", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 336, "start": 1034.881, "end": 1037.475, "text": "更多了，因为他还要 manage 自己的 memory。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 337, "start": 1037.475, "end": 1039.581, "text": "他可能、我不知道 Claude 里面还有一些", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 338, "start": 1039.581, "end": 1043.335, "text": "API，他要 set 一个 outcome 这种东西。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 339, "start": 1043.388, "end": 1046.455, "text": "其实从一定的角度来说，你把这个模型", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 340, "start": 1046.455, "end": 1051.045, "text": "和 harness 绑定去做这件事的，其实", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 341, "start": 1051.045, "end": 1054.568, "text": "你是有飞轮的、飞轮效应的。因为你说", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 342, "start": 1054.568, "end": 1058.917, "text": "coding Agent 的话，我落地的 Use Case 是这样，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 343, "start": 1058.917, "end": 1062.589, "text": "我可以试试怎么能够把它弄得更好，然后", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 344, "start": 1062.589, "end": 1066.269, "text": "反而去看看这东西能不能变成通用的。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 345, "start": 1066.269, "end": 1069.589, "text": "好像就是说直接去做通用，我只是猜想，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 346, "start": 1069.589, "end": 1074.869, "text": "就是说直接做通用的话感觉太广泛了。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 347, "start": 1075.123, "end": 1079.758, "text": "对，确实做通用、直接做通用的难度高很多，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 348, "start": 1079.758, "end": 1082.613, "text": "然后要求也高很多。对，但是如果能把它", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 349, "start": 1082.613, "end": 1085.4, "text": "做通，像 cursor 一样对吧，他最后也能", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 350, "start": 1085.4, "end": 1088.086, "text": "创业自己的 model，然后他反向的去控制", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 351, "start": 1088.086, "end": 1090.867, "text": "这件事情，说不定也是一个创业的机会。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 352, "start": 1090.867, "end": 1093.673, "text": "那说到创业的话，你觉得在企业这边，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 353, "start": 1093.673, "end": 1096.071, "text": "比如说我们做 vertical 和做比较", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 354, "start": 1096.071, "end": 1099.717, "text": "generalized 的一个 harness 是有区别的吗？", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 355, "start": 1099.717, "end": 1102.999, "text": "因为我马上能想到的就比如说我们刚才", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 356, "start": 1102.999, "end": 1105.495, "text": "说有不同的工具，我们现在看到的这些", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 357, "start": 1105.495, "end": 1109.166, "text": "harness 的工具，好像很难说我想去内部", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 358, "start": 1109.166, "end": 1113.037, "text": "调用一个什么 Google Workspace 的 tool，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 359, "start": 1113.037, "end": 1114.819, "text": "或者说想去调用一个微软的什么你的", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 360, "start": 1114.819, "end": 1117.577, "text": "identity 的 tool 对吧。这些东西好像还", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 361, "start": 1117.577, "end": 1121.19, "text": "都是比较 specific，而且我们还现在", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 362, "start": 1121.19, "end": 1123.881, "text": "说的是……但是对于很多像公司来说，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 363, "start": 1123.881, "end": 1127.671, "text": "它要 private，这个东西就要变得非常难。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 364, "start": 1127.671, "end": 1130.087, "text": "我觉得它是有机会的，就是特别是像", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 365, "start": 1130.087, "end": 1132.356, "text": "企业这种应用啊。就特别现在是我们", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 366, "start": 1132.356, "end": 1134.914, "text": "看到一个 trend，就是现在很多的企业、", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 367, "start": 1134.914, "end": 1137.431, "text": "不同的 industry 的话都在 train 自己", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 368, "start": 1137.431, "end": 1142.778, "text": "的这个 domain specific 这些大模型。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 369, "start": 1142.778, "end": 1146.006, "text": "像这个呃，刚刚那个 Harvey 自己那个 legal", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 370, "start": 1146.006, "end": 1149.039, "text": "的模型，我们一个叫 Tenet，其中一个例子。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 371, "start": 1149.039, "end": 1152.714, "text": "然后现在还有一些 insurance 公司也要做", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 372, "start": 1152.714, "end": 1156.629, "text": "自己的大模型，然后他们每一个 industry", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 373, "start": 1156.629, "end": 1160.315, "text": "里面它有非常多的自己的这些条款。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 374, "start": 1160.315, "end": 1163.071, "text": "虽然你说这些 information 有一部分是", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 375, "start": 1163.071, "end": 1165.461, "text": "public information 对吧，但是这个说", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 376, "start": 1165.461, "end": 1168.383, "text": "Train 模型的时候可能没有那么多的区别。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 377, "start": 1168.383, "end": 1170.752, "text": "但是从 harness Environment 来讲，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 378, "start": 1170.752, "end": 1172.904, "text": "如果我们认为 coding 你可以做很多的", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 379, "start": 1172.904, "end": 1176.249, "text": "harness，然后我觉得做这些某一个企业", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 380, "start": 1176.249, "end": 1178.735, "text": "domain 的具体业务流程，也会有很多这种", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 381, "start": 1178.735, "end": 1183.67, "text": "domain knowledge 可以强制的加进去的。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 382, "start": 1183.67, "end": 1185.94, "text": "所以我觉得还是，要是这些既然有", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 383, "start": 1185.94, "end": 1189.029, "text": "Open weights 这些模型 fine tune for 某个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 384, "start": 1189.029, "end": 1191.689, "text": "domain，那我觉得也会有很多这种跟着", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 385, "start": 1191.689, "end": 1195.649, "text": "这些模型一起的这些 harness 系统的存在。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 386, "start": 1195.799, "end": 1199.643, "text": "其实我可能看的就跟你不是特别一样。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 387, "start": 1199.643, "end": 1203.419, "text": "我是觉得你要是走 vertical 的话，我相信它", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 388, "start": 1203.419, "end": 1206.794, "text": "一定是会有一些 quality，但是我其实比较", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 389, "start": 1206.794, "end": 1210.736, "text": "持怀疑态度是，它到底能够有多大的提升。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 390, "start": 1210.736, "end": 1216.467, "text": "因为我们还是回到模型的通用的智能，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 391, "start": 1216.467, "end": 1221.923, "text": "它的能力是变得越来越强了，有些东西", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 392, "start": 1221.923, "end": 1224.089, "text": "可能你把它放到模型内部或者放到", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 393, "start": 1224.089, "end": 1227.771, "text": "harness 里面，可能就节约更多的一些 token。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 394, "start": 1227.771, "end": 1231.43, "text": "但是事实上它是不是真正能够使得这个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 395, "start": 1231.43, "end": 1235.14, "text": "模型有巨大的提升，这个我确实不知道。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 396, "start": 1235.14, "end": 1238.832, "text": "而且像像 Harvey 那个例子，其实他是把", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 397, "start": 1238.832, "end": 1242.021, "text": "模型 train 了对吧，他其实在这个 harness", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 398, "start": 1242.021, "end": 1245.023, "text": "上面的话，可能就是说 interaction 也", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 399, "start": 1245.023, "end": 1247.305, "text": "是同样的一些东西，这个我就不知道了，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 400, "start": 1247.305, "end": 1249.871, "text": "不知道他们怎么去 run the benchmark。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 401, "start": 1249.871, "end": 1254.033, "text": "我猜应该是会做一些这个 work。就当像我们", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 402, "start": 1254.033, "end": 1256.782, "text": "当年在 Orby 做这个 computer use 上面的话，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 403, "start": 1256.782, "end": 1259.048, "text": "我们也下了很多的一些限制吧，当时不叫", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 404, "start": 1259.048, "end": 1261.775, "text": "harness，但是现在其实这些事情也都是", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 405, "start": 1261.775, "end": 1264.39, "text": "定义在 harness：你怎么 maintain state，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 406, "start": 1264.39, "end": 1266.418, "text": "怎么进入下一步，什么东西可以做、什么", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 407, "start": 1266.418, "end": 1269.567, "text": "东西不可以做。所以我觉得可能那个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 408, "start": 1269.567, "end": 1275.088, "text": "这些 legal firm 还是没有到这里吧，他们", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 409, "start": 1275.088, "end": 1279.825, "text": "可能还都比较早期，所以说可能有机会。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 410, "start": 1279.825, "end": 1282.985, "text": "它确实像你说的，就是这些小模型啊", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 411, "start": 1282.985, "end": 1285.437, "text": "做 harness 这些事情能不能有一个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 412, "start": 1285.437, "end": 1289.055, "text": "实际 meaningful 的提高，这个不知道了。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 413, "start": 1289.055, "end": 1292.078, "text": "但是至少有一个是大家都认可的，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 414, "start": 1292.078, "end": 1294.305, "text": "就是这个会给至少这些企业认为他们", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 415, "start": 1294.305, "end": 1296.672, "text": "有 better control，然后至少感觉还是", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 416, "start": 1296.672, "end": 1299.869, "text": "有 better control。实际有没有的话呢，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 417, "start": 1299.869, "end": 1302.977, "text": "可能也比较难以衡量，因为你就是很主观", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 418, "start": 1302.977, "end": 1305.551, "text": "的事情，它不太容易 apple to apple compare。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 419, "start": 1305.551, "end": 1307.779, "text": "明白。因为我看到的可能就是这些", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 420, "start": 1307.779, "end": 1311.066, "text": "Open Source 的 harness 的 framework", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 421, "start": 1311.066, "end": 1312.599, "text": "出来以后，大家测的第一步其实是测的", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 422, "start": 1312.599, "end": 1315.066, "text": "这个 token saving，就是看那个 cache 的", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 423, "start": 1315.066, "end": 1317.837, "text": "hit rate 到底是有多少。就是你一个 harness", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 424, "start": 1317.837, "end": 1319.999, "text": "系统应该是能做到就是 95% 就可以到", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 425, "start": 1319.999, "end": 1323.311, "text": "那个 cache 上，这样就是 token cost 一下", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 426, "start": 1323.311, "end": 1325.584, "text": "就降下来了对吧。真正的那个你能不能", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 427, "start": 1325.584, "end": 1329.591, "text": "Deliver 那个 High Quality，可能还是要", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 428, "start": 1329.591, "end": 1332.15, "text": "靠那个模型本身。对，然后要靠那个 tool", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 429, "start": 1332.15, "end": 1334.676, "text": "拿回来的这个 quality 好不好。所以我的、", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 430, "start": 1334.676, "end": 1339.03, "text": "我可能看到就是说，可能在 cost saving", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 431, "start": 1339.03, "end": 1341.631, "text": "上面我觉得它可能会有一个比较大", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 432, "start": 1341.631, "end": 1345.005, "text": "的区别，但是 quality 可能打一个问号。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 433, "start": 1346.023, "end": 1348.634, "text": "不管怎么说，现在刚才提到的话，现在", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 434, "start": 1348.634, "end": 1351.318, "text": "企业的整个 Agent 的正确率还是不够，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 435, "start": 1351.318, "end": 1354.535, "text": "还是有很大的差距。虽然说有的一些的", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 436, "start": 1354.535, "end": 1358.503, "text": "业务流程它对正确率要求没有那么高，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 437, "start": 1358.503, "end": 1363.091, "text": "那些就会更先落地；但是像那些对于正确率", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 438, "start": 1363.091, "end": 1366.599, "text": "要求很高、然后它又需要很低的 cost，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 439, "start": 1366.599, "end": 1369.377, "text": "我觉得这里面的话还有很长的路要走。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 440, "start": 1369.377, "end": 1372.52, "text": "说不定你专注做的，还是你做时间够长了，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 441, "start": 1372.52, "end": 1375.662, "text": "可能就变成下一代的系统了。所以这个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 442, "start": 1375.662, "end": 1379.591, "text": "可能也就朝着像所谓的叫做 AI Operating", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 443, "start": 1379.591, "end": 1383.302, "text": "System，就 AI 操作系统、Agent 操作系统。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 444, "start": 1383.302, "end": 1386.387, "text": "对，还有一个名词叫企业 AI 操作系统。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 445, "start": 1386.387, "end": 1388.896, "text": "那这些其实也都是我要这样一个概念，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 446, "start": 1388.896, "end": 1390.867, "text": "说我要有一个这样一个环境，能让我", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 447, "start": 1390.867, "end": 1393.171, "text": "这些 Agent 去做我自己企业的事情。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 448, "start": 1393.171, "end": 1396.163, "text": "确实是。我觉得可能就像我们刚才说这个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 449, "start": 1396.163, "end": 1399.039, "text": "Pi 的例子哈，就是它是一个非常迷你版", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 450, "start": 1399.039, "end": 1403.055, "text": "的这么一个 harness，那它的受众可能更", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 451, "start": 1403.055, "end": 1406.396, "text": "多就是我们说开发者觉得，哎呀好小啊，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 452, "start": 1406.396, "end": 1408.734, "text": "就非常 light weight 非常快就可以，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 453, "start": 1408.734, "end": 1411.718, "text": "我作为一个开发者我可以去、去拓展它。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 454, "start": 1411.718, "end": 1414.55, "text": "但可能对于一个社会来说，它可能更多的是", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 455, "start": 1414.55, "end": 1416.964, "text": "需要像你说的就是 Deepseek 这样样类型", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 456, "start": 1416.964, "end": 1419.463, "text": "的对吧。他可能要把这个不同的分层啊、", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 457, "start": 1419.463, "end": 1422.622, "text": "分级啊，把这个能、这个权力给他分开，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 458, "start": 1422.622, "end": 1426.39, "text": "这样可能大家才会有真正的这种掌控感，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 459, "start": 1426.39, "end": 1429.545, "text": "才能够相信这个模型它做的事情对不对。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 460, "start": 1429.545, "end": 1432.345, "text": "我给你说一个就是我们做的一个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 461, "start": 1432.345, "end": 1436.167, "text": "案例的 use case 很有趣。就是我们聊了", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 462, "start": 1436.167, "end": 1439.067, "text": "很多企业，他们其实会有自己的这个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 463, "start": 1439.067, "end": 1442.451, "text": "叫商业逻辑 business logic，然后很多", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 464, "start": 1442.451, "end": 1444.851, "text": "这种 business logic 都是说我要先执行", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 465, "start": 1444.851, "end": 1446.645, "text": "第一步、执行第二步、再执行第三步，如果", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 466, "start": 1446.645, "end": 1449.862, "text": "遇到什么问题，就说我们说的 workflow。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 467, "start": 1449.862, "end": 1453.008, "text": "然后我们让大模型就是说去理解这个，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 468, "start": 1453.008, "end": 1456.317, "text": "看到比如他有这些 flow chart 也好、", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 469, "start": 1456.317, "end": 1459.727, "text": "写的这些 manual 也好，他去理解他都可以", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 470, "start": 1459.727, "end": 1462.362, "text": "做到非常好。但是当让一个大模型说你", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 471, "start": 1462.362, "end": 1465.41, "text": "按照这个东西去一步一步执行的时候，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 472, "start": 1465.41, "end": 1468.105, "text": "大模型就挂掉了。我们虽然说很多模型", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 473, "start": 1468.105, "end": 1470.535, "text": "可以在做 instruction following 很正好，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 474, "start": 1470.535, "end": 1474.708, "text": "但是到执行这种真正的、就是实打实的这种", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 475, "start": 1474.708, "end": 1477.75, "text": "API 然后一步一步执行，它就全都乱掉了，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 476, "start": 1477.75, "end": 1482.101, "text": "它无法真正的去 follow 这个 instruction。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 477, "start": 1482.101, "end": 1486.199, "text": "这个感觉这个地方就像你说的，可能需要", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 478, "start": 1486.199, "end": 1488.709, "text": "确实是有一个系统可以保证它对吧，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 479, "start": 1488.709, "end": 1490.824, "text": "按部就班的把它执行好。当然我们说", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 480, "start": 1490.824, "end": 1493.794, "text": "codify 这个东西可能也是一个方式对吧。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 481, "start": 1493.794, "end": 1497.951, "text": "还有举一个例子就是 payment 系统，以后", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 482, "start": 1497.951, "end": 1502.051, "text": "可能大家说拿 agent 去买东西或者什么的。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 483, "start": 1502.051, "end": 1505.143, "text": "然后我聊了天的时候有个朋友遇到的", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 484, "start": 1505.143, "end": 1507.564, "text": "问题是说，他曾经有一次跟这个模型", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 485, "start": 1507.564, "end": 1511.137, "text": "说这是我的 credit card number，然后", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 486, "start": 1511.137, "end": 1515.155, "text": "这个大模型就下一次、就是他就直接就", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 487, "start": 1515.155, "end": 1517.987, "text": "会拿 credit card 去帮他结算了对吧。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 488, "start": 1517.987, "end": 1522.402, "text": "就是这个东西因为做 decision 和执行的", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 489, "start": 1522.402, "end": 1525.988, "text": "发生在同一个层面对吧，他没有把他剥", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 490, "start": 1525.988, "end": 1529.475, "text": "离开，这个时候人就完全就 lose control", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 491, "start": 1529.475, "end": 1531.015, "text": "了对吧。我觉得好像企业包括我们", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 492, "start": 1531.015, "end": 1533.673, "text": "日常还有很多 work，我觉得是真正让", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 493, "start": 1533.673, "end": 1536.433, "text": "这个可以让他落地的话，有事情要做。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 494, "start": 1536.433, "end": 1541.18, "text": "对，企业最大的问题是要上 scale 对吧。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 495, "start": 1541.18, "end": 1544.657, "text": "你要是 99% 的正确率，100 次错一次它也", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 496, "start": 1544.657, "end": 1547.53, "text": "不能接受，就像你星巴克买咖啡 100 杯", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 497, "start": 1547.53, "end": 1550.56, "text": "做错一次，这也不太能接受。所以企业", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 498, "start": 1550.56, "end": 1554.066, "text": "的要求还是非常非常高的，对于他们", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 499, "start": 1554.066, "end": 1557.683, "text": "不仅是从企业的营收方面考虑，它还有", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 500, "start": 1557.683, "end": 1561.508, "text": "很多的 regulation constraints 对吧。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 501, "start": 1561.508, "end": 1563.978, "text": "那些保险公司、银行，它有的非常非常具体", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 502, "start": 1563.978, "end": 1567.463, "text": "的机构，那都是涉及到 legal 问题，他会要", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 503, "start": 1567.463, "end": 1573.597, "text": "面临罚款，那是比较实打实这个 impact 吧。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 504, "start": 1573.597, "end": 1576.904, "text": "但是如果你说你省的钱只是说少雇了", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 505, "start": 1576.904, "end": 1580.209, "text": "一些人的话，这个最后这个 ROI 还是不 work。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 506, "start": 1580.209, "end": 1583.749, "text": "所以企业的话，我觉得这个 harness", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 507, "start": 1583.749, "end": 1586.929, "text": "肯定是需要还要升级迭代。然后我还也", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 508, "start": 1586.929, "end": 1591.889, "text": "觉得这个 neurosymbolic 也会是其中", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 509, "start": 1591.889, "end": 1595.286, "text": "一个很重要的一个互动。我不能想象", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 510, "start": 1595.286, "end": 1597.366, "text": "一个至少在企业环境里面一个没有", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 511, "start": 1597.366, "end": 1601.399, "text": "neurosymbolic 这样的一个 harness 系统", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 512, "start": 1601.399, "end": 1604.749, "text": "的存在，不管这个 model 能力提升有多高。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 513, "start": 1605.041, "end": 1608.15, "text": "后来这个可能就是现在系统的一个 gap，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 514, "start": 1608.15, "end": 1610.548, "text": "我们现在还没有看到一个非常有效的", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 515, "start": 1610.548, "end": 1614.481, "text": "系统可以做到这一点。你觉得这一块其实", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 516, "start": 1614.481, "end": 1618.023, "text": "可能是一个 one billion dollar question：", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 517, "start": 1618.023, "end": 1619.771, "text": "这个 harness 这个东西会不会真正", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 518, "start": 1619.771, "end": 1626.057, "text": "的就被模型吃掉呢？因为我们看之前、", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 519, "start": 1626.057, "end": 1628.882, "text": "刚才我们刚才也说到了这个，可能", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 520, "start": 1628.882, "end": 1632.438, "text": "这个 harness 跟模型一起 train 效果", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 521, "start": 1632.438, "end": 1634.902, "text": "更好对吧。那如果就说大模型公司说，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 522, "start": 1634.902, "end": 1637.948, "text": "那这个 harness 包括我们想说的这些", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 523, "start": 1637.948, "end": 1640.78, "text": "在 wishlist 上面的东西他们都做到了，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 524, "start": 1640.78, "end": 1643.885, "text": "是不是这一块蛋糕就就都没有了？", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 525, "start": 1645.056, "end": 1647.681, "text": "我觉得不太会，还是我还是觉得不太会。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 526, "start": 1647.681, "end": 1649.839, "text": "因为还是像刚才说，我觉得 harness", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 527, "start": 1649.839, "end": 1651.657, "text": "系统里面有个重要的部分，就是这个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 528, "start": 1651.657, "end": 1654.681, "text": "会有一个 neurosymbolic 系统的存在。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 529, "start": 1654.681, "end": 1657.558, "text": "它还是要去 symbolify 很多很多事情，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 530, "start": 1657.558, "end": 1660.744, "text": "一个原因在于它很高效，另外一个它", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 531, "start": 1660.744, "end": 1663.657, "text": "就是更能做到百分之百的 control。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 532, "start": 1663.657, "end": 1667.041, "text": "所以的话我觉得大模型可以演化、可以演化", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 533, "start": 1667.041, "end": 1671.169, "text": "它的能力更强，它可能变得越来越高效。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 534, "start": 1671.169, "end": 1675.372, "text": "但是从让我们变得更容易 control、更容易", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 535, "start": 1675.372, "end": 1677.558, "text": "让系统变得更 scalable 的话，我觉得这个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 536, "start": 1677.558, "end": 1681.009, "text": "harness 系统还是必要存在的。你怎么看？", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 537, "start": 1681.101, "end": 1684.486, "text": "我跟你相反，我觉得可能这个东西要被", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 538, "start": 1684.486, "end": 1686.881, "text": "大模型吃掉。codify 那就是把你现在的", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 539, "start": 1686.881, "end": 1689.789, "text": "东西写成 code、code generation，我觉得", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 540, "start": 1689.789, "end": 1692.394, "text": "这个问题现在基本上解决了。然后我是", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 541, "start": 1692.394, "end": 1694.341, "text": "觉得我同意的一点就是没有解决的，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 542, "start": 1694.341, "end": 1697.536, "text": "就是怎么做这种 permission escalation，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 543, "start": 1697.536, "end": 1699.78, "text": "什么时候 agent 能够干这件事、不能", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 544, "start": 1699.78, "end": 1702.3, "text": "干这件事，可能还需要一个第三方", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 545, "start": 1702.3, "end": 1705.194, "text": "的一套系统或者 layer 介入对吧。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 546, "start": 1705.194, "end": 1709.622, "text": "是不是 harness 的一部分我不太确定，至少", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 547, "start": 1709.622, "end": 1713.654, "text": "我现在来看的话，它可能是不在 harness", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 548, "start": 1713.654, "end": 1718.019, "text": "系统里面。其实我给你举个例子，像这个现在", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 549, "start": 1718.019, "end": 1721.721, "text": "CPU 芯片对吧，大家都认为 CPU 计算它绝对", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 550, "start": 1721.721, "end": 1724.724, "text": "不会出错，但是其实它也是电压控制。对。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 551, "start": 1724.724, "end": 1726.004, "text": "他也会出错。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 552, "start": 1726.148, "end": 1728.09, "text": "它还要是一个 validation 的东西，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 553, "start": 1728.09, "end": 1730.821, "text": "确保我这个 bit 是没有乱掉的。然后呢", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 554, "start": 1730.821, "end": 1734.888, "text": "那个东西就是 harness。其实我觉得像", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 555, "start": 1734.888, "end": 1738.964, "text": "CPU 这么已经这么规模化、然后这么的、", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 556, "start": 1739.144, "end": 1741.44, "text": "这么稳定的一个东西，它也是需要这个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 557, "start": 1741.44, "end": 1745.947, "text": "check 的系统的存在。所以我觉得包括电话", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 558, "start": 1745.947, "end": 1749.064, "text": "信号传输、高速信号传输，它全都会有一个……", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 559, "start": 1749.064, "end": 1749.764, "text": "对。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 560, "start": 1749.764, "end": 1754.69, "text": "checksum。但是不、就是说用你的理论", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 561, "start": 1754.69, "end": 1757.465, "text": "打你的话，它就变成了 CPU 的一部分了。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 562, "start": 1757.465, "end": 1760.587, "text": "你在卖 CPU 的时候你就可以卖这个系统对", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 563, "start": 1760.587, "end": 1764.844, "text": "吧，你说你可能要需要另外一套对吧。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 564, "start": 1764.844, "end": 1767.887, "text": "这个东西会不会被这个 Open AI 吃掉？", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 565, "start": 1767.887, "end": 1770.864, "text": "确实像你说的可能会被它吃掉。它就是给", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 566, "start": 1770.864, "end": 1774.04, "text": "大模型的时候，以后大模型出来了就自带", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 567, "start": 1774.04, "end": 1777.666, "text": "harness，那我就配套来的，是很有可能发生", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 568, "start": 1777.666, "end": 1780.242, "text": "的吧。是不是需要一个通用的 harness？", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 569, "start": 1780.242, "end": 1782.305, "text": "或者说 harness 就会像变成 Checksum", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 570, "start": 1782.305, "end": 1784.289, "text": "这样的一个技术，就谁也不能 charge", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 571, "start": 1784.289, "end": 1786.016, "text": "钱了，因为它就是一个免费的东西。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 572, "start": 1786.016, "end": 1788.699, "text": "就像 Internet 现在这个技术基本就是", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 573, "start": 1788.699, "end": 1791.339, "text": "免费的东西，也有可能变成这个样子。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 574, "start": 1791.339, "end": 1795.739, "text": "终于 OK。好，我们这期 harness 就先聊到这里。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 575, "start": 1795.739, "end": 1800.266, "text": "然后我们说两个上周发生的事情，我可以", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 576, "start": 1800.266, "end": 1803.915, "text": "先来。我先说的一个事就是打脸。我们其实", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 577, "start": 1803.915, "end": 1807.962, "text": "之前没过两期聊到 OpenRouter，它就被", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 578, "start": 1807.962, "end": 1812.532, "text": "Stripe 天价收购了，我们说它没有护城河，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 579, "start": 1812.532, "end": 1817.179, "text": "然后啪啪打脸，所以这个还是蛮有趣的。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 580, "start": 1817.267, "end": 1820.723, "text": "确实是，没有护城河也能卖六个 billion。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 581, "start": 1820.723, "end": 1823.747, "text": "比如说你有 volume 对吧、有用户，我觉得", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 582, "start": 1823.747, "end": 1826.197, "text": "就可以。但是我也是瞎猜测，就是说毕竟", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 583, "start": 1826.197, "end": 1829.803, "text": "你看他们的 business model 很像，就是说", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 584, "start": 1829.803, "end": 1832.568, "text": "都是做这种平台中枢型的东西对吧，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 585, "start": 1832.568, "end": 1836.398, "text": "然后集散。只不过 Stripe 并没有说是", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 586, "start": 1836.398, "end": 1839.359, "text": "在核心的这个 GenAI 的赛道，它通过", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 587, "start": 1839.359, "end": 1841.974, "text": "这个可能也就是说拓宽了它这个赛道，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 588, "start": 1841.974, "end": 1845.631, "text": "并且可以 diversify 它的 business。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 589, "start": 1845.631, "end": 1847.905, "text": "我觉得可能还是这个 Stripe 比较", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 590, "start": 1847.905, "end": 1852.072, "text": "desperate，他就是想要讲一个 AI 的 story，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 591, "start": 1852.072, "end": 1855.676, "text": "然后也是找了一个这么一个非常 unique、", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 592, "start": 1855.676, "end": 1857.789, "text": "像你说的一种非常契合的一个东西，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 593, "start": 1857.789, "end": 1860.241, "text": "他们作为其入口。相当于就是花六个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 594, "start": 1860.241, "end": 1863.338, "text": "billion 买一个机会，说不定这个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 595, "start": 1863.338, "end": 1866.191, "text": "下个季度财报就把这钱挣回来了。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 596, "start": 1866.191, "end": 1870.831, "text": "可以看看他们怎么去运行。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 597, "start": 1870.831, "end": 1873.451, "text": "咱们如果是到时候他们 CEO", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 598, "start": 1873.451, "end": 1875.451, "text": "上来讲这事，咱们会回答。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 599, "start": 1877.583, "end": 1881.497, "text": "然后我可能要讲的话，就是这周的话", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 600, "start": 1881.497, "end": 1887.112, "text": "NVidia 宣布他们要投入 6 个 billion，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 601, "start": 1887.112, "end": 1890.775, "text": "这是真金白银 6 个 billion 去做 open", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 602, "start": 1890.775, "end": 1894.117, "text": "weights model。他们的口号要做最好的 US", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 603, "start": 1894.117, "end": 1898.177, "text": "的 open weight model，我觉得这个让我看到", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 604, "start": 1898.177, "end": 1901.663, "text": "还是挺振奋人心的。然后连着这个的话，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 605, "start": 1901.663, "end": 1903.708, "text": "说不定他们下一步就会 launch 一个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 606, "start": 1903.708, "end": 1905.943, "text": "Nvidia 版本的 harness system 给大家用。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 607, "start": 1905.943, "end": 1907.218, "text": "有可能，有可能。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 608, "start": 1907.218, "end": 1909.469, "text": "我觉得还蛮看好的，因为之前还有不少", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 609, "start": 1909.469, "end": 1912.288, "text": "的谷歌的同事都跑到了 NVidia，对。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 610, "start": 1912.288, "end": 1914.647, "text": "然后包括他们的一个 Infra 啊、", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 611, "start": 1914.647, "end": 1917.527, "text": "Training 啊，对，所以还挺拭目以待的。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 612, "start": 1917.527, "end": 1919.825, "text": "现在我们用 Nemotron 体验就特别好。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 613, "start": 1919.825, "end": 1922.872, "text": "现在我们有个 Spark 那个机器，DGX 的 Spark，", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 614, "start": 1922.872, "end": 1926.271, "text": "那个机器跑那个千问 3.8，就比那个那个", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 615, "start": 1926.271, "end": 1930.767, "text": "Nemotron 慢很多，就慢将近 10 倍左右。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 616, "start": 1930.767, "end": 1933.567, "text": "好的，我们这期就聊到这里，大家拜拜。", "source": "video_source_subtitle", "authority": "video_source_subtitle" }, { "id": 617, "start": 1933.567, "end": 1934.567, "text": "拜拜。", "source": "video_source_subtitle", "authority": "video_source_subtitle" } ], "transcript_selection": { "schema": "videonote.transcript_selection.v1", "status": "SELECTED", "requested_language": "zh", "duration": 1935.0, "reference_path": "/Users/sagawa/AI_WORK/video_notes/url/20260907_155950__18.DeepSeek开源harness_新风口还是没得选/reference_subtitle.vtt", "reference_kind": "manual", "reference_language": "zh-Hans", "selected_source": "video_source_subtitle", "source_caption_kind": "manual", "source_caption_processing": "verbatim_direct", "youtube_overlap_clamps": [], "general_high_confidence_repairs": [], "decision_reason": "complete_source_subtitle_fast_path_no_whisper", "whisper_rejected": false, "source_profile": { "segment_count": 618, "duration_coverage": 0.98252 } } }