工作清單

18.DeepSeek开源harness，新风口还是没得选

逐字稿文字預覽

哈喽大家好，我是 Lewis。
大家好，我是 Will。
这期我们其实想接着上次，我们留
了一个话题，是说讲 agent harness。
然后 agent harness 最近也是非常的火，
感觉这一波是 Deepseek 带起来的。
他把自己的这套 core 的 harness 给
open source 了，然后一下就点爆了
这个 community，大家就开始试它。
这个东西不如我们先给大家来说一说，
agent harness 到底是什么。
我的理解的话呢，
这个 harness 还是非常重要的一个环节，
就特别是在 agent 这个年代。
咱先说它
功能性上来说的话，它提到的一个最大的、
提供一个最大的一个价值在于，以前的话呢，
大家认为这个 agent 都是这种对话式的，
他做任务都是一件事一件事，就就说我要
生成一个 doc、生成一个 image。
但是的话，
就是这个 harness 就变、就是让这个 agent 能
run 这种 long horizon task，就是几个小时
的这种 task。
然后整个过程当中，它需要
一个一整套的 evaluation validation
然后 self correction，这一套的机制能
保证它能做一个更长的 task。
我的从功能
上理解是这样理解的，我不知道你怎么看。
从产品来说吧，我觉得可能就是说，
大家刚开始做这个大语言模型，可能更
多的就是看这个叫什么，这个光标对吧，
就是我打进去一个一个问题，然后你模型
给我一个答案，这可能是第一个雏形。
那个时候就是比较热门的就是叫
prompt engineering 对吧，大家想怎么把
这个 prompt 写好。
然后当时其实我们内部
还在说，每一个模型它都有自己的个性，
所以你用你自己的一套 prompt 去跟
OpenAI 说话，再去跟 Gemini 说话，他的理解
不太一样。
所以当时模型能力也是受限，
所以我们说 prompt engineering。
对，后来
就变成了叫 context engineering 对吧。
context engineering 就是说你怎么把
合适的东西放在 prompt 里面，然后让
模型可以更有效。
这个时候我觉得好像
大家还都是在做怎么回答好一个问题。
现在我觉得就是说，我们一直得强调
ROI 对吧，就是说企业要买模型然后
部署这个东西，他要的是能够落地，
他能让模型真正的去做一些任务。
一旦做任务的话，就不只是简单是拿一个
这个叫什么答案回来了，那他就可以要、
要去执行代码对吧，要去 call API，然后要
保证这些东西能够安全然后合规对吧。
这个 Harness 其实就是衍生出来的这
一套在模型外面的系统，能够更好的、就是
让这种像你刚刚说了这个可以跑很多
天的这种这种任务对吧，能够真正落地。
我觉得就是说，可能他就是帮人们从一个
简单的一个模型扩展到了一个一个系统。
所以我是一个自然的 agent 发展的过来
一个，在我眼里的话，不觉得它是一个
新生物种。
我觉得它就是一个 agent 在
自我发展的过程当中自然而然产生
的一个更系统化、更复杂、更大规模、
更 engineering 的一个系统组件吧。
对，这就是一个就像你说的，在每一个发展的
阶段，好像大家意识到一个新的问题对吧。
遇到一个新的问题，我们再给它起一个名字，
把它当成一个问题然后来解决对吧。
可能在当前那个阶段，现在大家要讲求它
可以帮你去、就是自动化这些 task 对吧，
那 harness 就产生了。
那我们不如来说
一说 Deepseek 它做的 harness 系统。
Deepseek 好像它 Open Source 大家都非常
喜欢的原因，是它把它变成了模组化，
好像每一个都是一个 plugin、都是一个
插件，然后大家都可以用来不同的
组件来更换。
这个的话是不是对企业、
对很多开发的时候就有很大的帮助？
对，从本质上的话，就把 harness 这个
事情变得更容易 engineering 了，
就变得更容易去拆组，然后根据自己
的需求然后调整 harness 的 behavior。
像以前的话大家都是在 Agent Loop 里面
加一些 tool、加一些 command、加一些
permission check 这些事情，但是它
没有更系统化的去把整个 Agent Loop
里面不同的组件可以任意地搭配起来。
其实我们之前好像讲 memory 那期也涉及
到了这些方面的话题。
我们通常来说这个
Agent Loop 是比较简单的，就说你有没有
达到最终的目标、也完成这个任务，没完成
你就自动去、自己去发现为什么没有完成。
在这个过程中的话，就需要这种不同
的组件然后去支持它完成这件事情。
所以可能这种模块化的话，就让这种
工程学来说更容易，大家只需要用同样
的这么一个模板，对，把适应、对应的这些
东西拿进来，它很容易就可以工作了。
对，其实就是把 agent 的一些 best practice
以一种可拼装的形式组在一起。
你觉得这个 Deepseek 为什么会 open source
这个？
因为你像我们之前内部的话，曾经
还有一段时间看这个 Claude Code 对吧，
他做了这个 managed agent，然后大家
都说，哇，他这个 harness 做的真不错。
他就会觉得这个 harness 感觉是
又是一个下一个风口对吧，所以要
赶快去做这件事。
但是这个 Deepseek
直接就把他自己的这一套给开源了。
我当时看到开源的时候，我主要是
当时的思考逻辑就是说，他把它、因为
Deepseek 他们是开源模型对吧，他是模型。
一般的人都不会自己在、不会用这个
一般的人都不会自己在、不会用这个 Deepseek 自己的提供 API 去用这些大模型，或者用 Deepseek 的 service 去用这些大模型，他可能在任意地方去 serve。
或者用 Deepseek 的 service 去用这些
大模型，他可能在任意地方去 serve。
他一旦自己 serve 这些 model 的时候，
他就会面临一个问题：那我用什么样的
harness environment 去做这件事情？
你也可以用 OpenAI 的，你也可以用 Claude，
但是可能最好的就不如用一个它自、这个
Deepseek 调制好的这样的一个 harness。
这样的话，大家对于这个 Deepseek 这个
model，特别是那些小一点 weights
的 model、小一点的 model，可能就是
使用体验会好很多。
所以整体来说，
可能就是这个能 help 他们的 adoption。
对，我们刚才提出说到一点我还觉得挺、
就突然我想到了哈，就是用 Deepseek
的很多企业，可能他真的不会去、
就是去 call 这个 Deepseek 的 API 对吧。
他可能觉得不、这个对吧，不太信任。
反而他可能就是把这个 open weights model
用在自己的数据中心，或者是其他的云
对吧。
那这个时候他就非常的独立了，
那这个时候他就非常的独立了，那他就等于这个、这个系统没有。
那对于 Deepseek 来说，那可能我把这
一部分也开源了，也是他唯一的途径。
要不然他也很难说有一套像 Claude
一样，他做一个 managed service，
大家可能也很难信任他，然后去
把这个服务 run 在他这个上面。
其实 Deepseek 的 CEO 梁文锋之前在一次
的这个泄露的内部会议上面，其实提到
过一次，他们说他们就要专注、专注于做
generic 大模型，其实没有提到这个 harness。
然后我觉得他们现在把这个放出来，
不知道是他们以后就要专注这个方向、
然后持续放出来这个东西，还是说我这
东西做了一个版本把它 open source
出去，不做我们一个拳头产品做研发。
你这个角度很有趣，其实也可以是我们下
一个话题：这东西为什么就突然火了对吧？
是不是因为这些像你说 Deepseek 这些
大模型公司突然发现，好像模型卷的东西
不多了，然后这个外边有好多新的一个领域
可以去卷，然后所以大家都开始做 harness。
其实我觉得在应用环境当中，除了这非常
generic 的 task，harness 这个东西还是
非常复杂的。
包括我内部的 API 怎么调用，
假如你一个公司内部开发了某一个 API，
或者说某一个 validation 那个东西，或者
某个 rule，这些大模型其实很难知道的。
然后这些 API 可能定义的非常的不直觉，
也非常不符合这个 semantic 的定义，就需要
去做这个 harness。
以前大家做法就是说，
要不就写在 prompt 里面我这里面都有什么
东西，然后后来做 context engineering，
就是我写一些 skills 把这些说清楚。
现在更进阶的办法，就是我把这些东西都
编制在我的 harness environment 里面，才能
让我系统化的开发所有 agent 都比较好用。
所以这可能也是我们为什么看到多数的
harness 的系统现在还都是在 coding agent
上。
可能你要是做这种企业的部署，这
vertical 这种垂直领域的还是比较难。
说到这个头，其实 harness 它对于企业
的一部分需求解决挺好的。
就是说这种
quality 来看，就是刚才说是 coding 嘛。
他 coding 大家现在看的主要还是这个
quality 怎么样，因为都是 human in the loop，
不会太会让这个 coding 完全自动化。
你最后还是要看一下，哪怕我不看 code，
我也要看一下这个生产的 app 的结果。
所以说结果更重要、效率更重要，
我结果正确概率越大，觉得越好用。
企业它很多这种自动化的要求的话，
它希望这东西就是帮我把它做对，
那这个就需要很大的 guarantee，或者
是 follow 某一个 rule，永远都要 follow
这个 rule，那不 follow 的话就是不可以的。
那这种情况下，在 harness、这种通常的这
harness 的并没有实际的解决这类问题。
其实也就是说，harness 并不能够真正的把
一个可以重复反复的这种 workflow 变成
一种、就是更 deterministic 这种情况对吧。
它还是等于做了很多的希望能够让它
变成更可靠，但是事实上还是会出现各种
问题。
所以如果说用咱以前说的这个
availability 是几个 9 嘛是吧，我觉得
我觉得现在可能就是一个 9 的状态，90% 做对，但是企业可能需要三个 9、四个 9，但一直都 是这样子，所以还是有很大的距离要做。
但是企业可能需要三个 9、四个 9，但一直都
是这样子，所以还是有很大的距离要做。
对，确实是。
因为像我们内部当时在做这个
Agent Memory 的 benchmark，我们开源的
一个东西叫 State-bench，对，之前有说过。
其实我们另外定义了一个 metrics，
就是 run 同一个 task run 五遍，看看你
是不是都能拿到同样的结果对吧。
就是如果你发现这个有起伏，那就说明
你这一套 workflow 定义的 harness 就
不够，对 enterprise 里面就不够可靠。
5 次都做对，其实也不是那么可靠听起来。
哈哈。
哈哈，对。
那这个东西是吧，你要做到多少？
这个三个 9，那就得 run 多少次，就几万次可能。
感觉整个就算 harness 现在我们想到的
这个雏形就做到非常好，也很难去解决这个
真正 enterprise 里面的这些部署问题。
对。
所以我觉得这个 harness 本身的话，
那可能是至少跟现在的这种方式，
可能不足以解决 enterprise 的问题。
那你说下一个东西能解决 enterprise 的
问题是不是叫 harness？
又会起一个新的
名字对吧。
可能现在有叫 Control plane。
loop engineering 算不算？
有 loop engineering。
还有 governance 对吧。
然后这些
东西可能就是下一代东西能
帮助企业把这个确实做好。
其实我们前一期录的时候我有分享一点。
我觉得像 Deepseek 的这种方式，它把所有
的东西都变成一个 plugin，然后这个其实
是我觉得是相信大模型的一个做法。
它甚至连 agent loop 你都可以换掉，
当然这是需要人去换。
我们当时做的
memory 就是说，大模型可能不能够很
稳定的去 call memory，我要做一个
knowledge base 的种 retrieval 什么时候，
我就 hard code 进去，每次都做，保证一定
会有这个 context。
这个其实大家就等于
在这个 loop 里面做了很多很多工作。
现在这么看来的话，就说 Deepseek 的这个
角度，它就很明确的是说我们放权了对吧，
让大模型、让 intelligence 去 lead the way。
这个我觉得还是、我觉得还是怎么说，我
觉得从他的角度来，他做这件事非常合理，
作为一个 open source、相信一个未来的角度。
对。
对于 enterprise，可能大家现在
还是会说我都 hardcode 起来，
这样就更确定性更高一点。
对，所以其实你提到这个所有东西，
对于我们来说都特别兴奋的。
就是说，
因为我们在做 self improving agent，
就自我迭代嘛，那你要是能系统性的
决定你所有东西都是可以自我调整的，
那就会有最大的 flexibility。
就像基因
对吧，你所有的这个链组都是可以改的，
那你就是进化就无限的可能对吧。
所以就是看到他们这样做的时候觉得，
哦，这个还是有人跟我们想的思路挺
像的，就认为所有东西都是可以改的。
但是现在还没有看到改这个 model 自己的
architecture、自己 weights 的这个事情，
可能把这个 fine-tuning 的这东西加进去
之后，它的连接 model 自己也可以改自己。
对，这个主要就是叫什么时间 compute 对吧？
这个可能现在还不是特别 feasible。
对，
但我相

來源：transcript.txt

本次執行流程與問題處理

  1. 下達指令

    指令：videonote https://www.youtube.com/watch?v=KDjHItg6WA0 --language zh --adopt-source-subtitles

    來源：https://www.youtube.com/watch?v=KDjHItg6WA0

    辨識語言：zh ｜ 參數：--language zh --adopt-source-subtitles

  2. 預期流程

    依指令產生的處理順序：

    1. 採用來源字幕（略過語音辨識）
    2. 來源選擇與品質檢查
    3. 文字校正與句子單元
    4. 筆記與發布
    5. 公開網頁發布

  3. 1. 下載與語音辨識

    工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）

    處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿

    產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）

    耗時：2.8 秒

    關係：依序執行

    結果：完成

  4. 2. 全文快速校讀

    工具：videonote_rapid_transcript_review.py

    處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目

    產出：rapid_transcript_review_report.json（產出檔案）

    耗時：54.0 秒

    關係：依序執行

    結果：完成

  5. 3. 建立句子單元

    工具：videonote-build-sentence-units

    處理：將逐字稿切成帶時間軸的句子單元

    產出：sentence_units.json（句子單元）

    耗時：0.1 秒

    關係：依序執行

    結果：完成

  6. 4. 時間軸稽核

    工具：videonote_timeline_audit.py

    處理：檢查時間軸與音訊對齊

    產出：timeline_audit_report.json（時間軸稽核）

    耗時：0.1 秒

    關係：依序執行

    結果：完成

  7. 5. 品質檢查

    工具：videonote_controlled_quality.py（檢查時間軸與品質）

    處理：檢查語言、時間軸與可讀性品質

    產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）

    耗時：0.1 秒

    關係：依序執行

    結果：完成

  8. 6. 播放時間軸回填

    工具：videonote_rebase_display_timeline.py

    處理：將網頁播放時間軸回填為校正字幕時間

    產出：display_timeline_rebase_report.json（時間軸回填報告）

    耗時：0.2 秒

    關係：依序執行

    結果：完成

  9. 7. 來源句整理

    工具：videonote_prepare_source_entries.py

    處理：整理來源句子供時間軸與頁面使用

    產出：sentence_units.json（句子單元）

    耗時：0.2 秒

    關係：依序執行

    結果：完成

  10. 8. 生成筆記摘要

    工具：videonote-generate-note（生成筆記摘要）

    處理：生成筆記摘要與重點

    產出：note.md（筆記 Markdown）、note.html（筆記 HTML）

    耗時：168.9 秒

    關係：依序執行

    結果：完成

  11. 9. 建立筆記頁面

    工具：videonote-render-html（產生筆記 HTML）

    處理：產生可閱讀的筆記 HTML 頁面

    產出：note.html（筆記 HTML）

    耗時：1.0 秒

    關係：依序執行

    結果：完成

  12. 10. 發布公開頁面

    工具：videonote-publish（發布公開頁面）

    處理：發布到公開網站與每日列表

    產出：公開筆記網址、result.json（管線結果）

    耗時：1.1 秒

    關係：依序執行

    結果：完成

手動來源字幕

自動來源字幕

Whisper 字幕

Qwen 字幕

Parakeet 字幕

MOSS 字幕

聲學時間證據（PyAnnote / WhisperX）

校正前後逐字稿

目前待解決問題與初步改善方向

進一步精進字幕與筆記
使用 Workbench 上傳校正字幕、中文參考稿或回饋 SRT，重新產生雙語與學習單元。
開啟 Workbench