逐字稿文字預覽
OpenAI Codex Harness開源了,模型只是發動機,Harness才是那套駕駛系統。 8月20日,OpenAI聯合創始人兼總裁Greg Brockman又一次把話題帶回了Codex。 他提到一個挺反直覺的案例,一套由Codex驅動的稅務系統,在試點中處理了大約7000份報稅表,把稅務準備時間縮短了1 3左右。 但如果你只把這理解成OpenAI又升級了一次編程AI,可能就錯過重點了。 這次真正值得聊的,甚至不是哪個新模型,而是模型背後那套執行系統Harness。 很多人第一次聽到這個詞,會以為它就是個開發框架,其實不太準確。 它更像是AI智能體的執行系統。 今天一個能連續工作幾十分鐘甚至幾個小時的Agent,Code從來不只是好模型加好Prompt。 他得知道什麼時候該讀文件,什麼時候該搜索信息,什麼時候該調用工具, 任務失敗了怎麼恢復,上下輪越堆越長了怎麼壓縮, 哪些操作可以自動跑,哪些必須停下來等人審批。 他還要維護任務狀態,保存現成,處理權限,記錄過程,把工具執行的結果不斷送回模型,讓模型決定下一步該幹嘛。 說白了,模型負責思考,Harness負責把這種思考真正落進現實世界。 這也是為什麼Agent時代正在出現一個判斷,以後決定一個AI產品體驗好不好的,可能不只是用了哪個模型,而是這個模型是怎麼被組織起來工作的。 OpenAI自己就給了個很典型的例子。 在ARC-IGS這個公開測試集上,同樣是GPT5.6SAL這個模型,用官方Harness跑,得分13.3%。 等系統進一步打開Retained Reasoning,也就是保留推理狀態和Compaction上下輪壓縮之後,得分直接提到38.3%,輸出的Token數量反而降到了大概1.6。 注意,這不是說模型智商突然翻了三倍,真正值得關注的是,模型壓根沒換,系統表現卻發生了這麼大的變化。 這說明大模型的競爭正在從單純比參數,比推理能力,往更深一層下沉。 上下文怎麼管,工具怎麼組織,任務怎麼循環,錯誤怎麼恢復,人什麼時候該介入。 模型是發動機,Harness才是變速箱,方向盤,導航,刹車,是整套駕駛控制系統。 而Codex正在把這套能力越來越完整的開放給開發者。 這裡有個容易被誤讀的地方,得澄清一下。Codex的Harness並不是昨天才突然開源的。 Codex的代碼倉庫早就用的是Arpreci 2.0許可證。 2025年,OpenAI就發布了Codex SDK,開發者可以把整套Agent能力欠進自己的工作流。 到了2026年2月,又進一步公開了Codex App Server,一套雙向JSON RPC接口, 能把Codex底層的Agent循環接近不同的產品界面裡。 所以這次真正值得討論的,不是OpenAI突然把秘密武器免費送人, 而是一個更大的趨勢正在成熟。Codex正在從一個產品慢慢變成可以嵌入其他產品的基礎能力。 開發者大致有三條路可以走。 最簡單的是Codex Exact,可以把Agent直接塞進腳本或者CI流程裡,幹一些邊界清楚的活。 再往上是Codex SDK,應用可以創建、恢復現成、運行任務、接收結構化輸出,把Agent真正寫進業務邏輯裡。 更深一層是App Server,它甚至不要求你的產品長得像Codex,你可以保留自己原本的界面,只是把底層的Agent循環接近來。 這事看起來只是個技術架構上的變化,但可能會改寫AI軟件過去三年的一個基本套路。 從ChatGPT爆發以來,行業裡幾乎形成了一種條件反射,只要用上AI就加一個聊天礦,客服要加,數據分析要加,CRM要加,財務軟件也要加,幾乎無一例外。 結果就是底層模型越來越聰明,前端產品卻越來越像。 但真實的工作根本不是圍繞聊天發生的。 安全工程師面對的是告警列表,財務人員面對的是賬目表格,客服面對的是訂單和公班,物流面對的是貨單和庫存。 醫生、律師、工程師,每個行業都有自己幾十年打磨出來的專業界面和操作習慣。 凭什麼為了用AI,所有人都得離開這些系統,跑到一個空白聊天礦裡,把上下文重新說一遍。 更合理的方向其實反過來,不是讓人去適應AI的界面,而是讓AI進到人本來就在用的界面裡去。 Cisco已經給出了一個現實案例,他在Cisco Cloud Control裡推出了App Builder,直接把Codex SDK嵌進平台, 讓客戶用自然語言創建定制應用,不用先跳到另一個AI工具裡幹完活,再把結果搬回來。 稅務場景則更能說明問題。 OpenAI, Thrive Holdings和Crate一起做的Tax AI, 壓根沒打算讓會計師每天跟機器人聊天,而是直接進入了原本就存在的報稅流程。 這一季度試點處理了700份報稅表,從業人員的修改、審核、糾錯,又被轉化成新的評測信號,繼續推動系統改進。 這可能才是Agent真正能走進企業核心業務的方式。 AI不是另外多出來的一個軟件,而是變成了原有軟件裡的一層隱形執行能力。 當然,這裡有個邊界得說清楚。 Codex的代碼用Apache 2.0許可證開源,不代表OpenAI把GPT模型的權重也一併開源了。 開源Harness也不代表模型推理、算力、企業部署這些就變成零成本了。 更不代表公司可以毫無安全措施地把數據庫、內部API、敏感文件全都甩給Agent去處理。 真正成熟的企業及Agent反而會越來越強調全線邊界、殺箱、審計、工具白名單,以及關鍵動作必須有人確認的Human in the Loop機制。 而這或許才是Codex Harness最值得關注的地方。 過去幾年我們一直在問,下一代模型會有多聰明? 但接下來,軟件行業可能會越來越頻繁地面對另一個問題。 怎麼把這份聰明,安全、穩定、可控地裝進真實世界? 從這個角度看,Harness的價值就很清楚了。 模型決定的是智能的上限,Harness決定的是這種智能能不能真正幹活。 而應用開發者真正的護城河也會重新回到自己的數據、工作流、專業界面、全線體系和行業理解上。 未來最強大的AI產品,可能未必天天提醒你這裡有個AI。 它可能沒有巨大的輸入框,沒有閃爍的機器人頭像,也不會要求你重新學一套操作方式。 你打開的還是那個熟悉的財務軟件,運營看板,IDE,客服系統。 只是從某一天開始,這些軟件突然開始自己理解任務,自己調用工具,自己執行工作。 只在真正需要你的時候才停下來,問你一句,這一步要執行嗎?
本次執行流程與問題處理
下達指令
預期流程
- 下載與語音辨識
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具:videonote-transcribe-url(主辨識管線:下載、Whisper 辨識與選稿)
處理:下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出:yt_dlp_meta.json(影片元資料)、audio_16k_mono.wav(16kHz 單聲道音訊)、transcript.whisper.json(Whisper 辨識結果)、transcript.json(正式逐字稿)、transcript_selection_report.json(來源選擇報告)
耗時:32.4 秒
關係:依序執行
結果:完成
2. 全文快速校讀
工具:videonote_rapid_transcript_review.py
處理:先速讀完整逐字稿,再修正高可信突兀詞句並列出待確認項目
產出:rapid_transcript_review_report.json(產出檔案)
耗時:38.3 秒
關係:依序執行
結果:完成
3. 建立句子單元
工具:videonote-build-sentence-units
處理:將逐字稿切成帶時間軸的句子單元
產出:sentence_units.json(句子單元)
耗時:0.3 秒
關係:依序執行
結果:完成
4. 句子密度平衡
工具:videonote_balance_sentence_units.py
處理:平衡句子長度與密度
產出:sentence_units.json(句子單元)
耗時:0.4 秒
關係:依序執行
結果:完成
5. 時間軸稽核
工具:videonote_timeline_audit.py
處理:檢查時間軸與音訊對齊
產出:timeline_audit_report.json(時間軸稽核)
耗時:0.4 秒
關係:依序執行
結果:完成
6. 品質檢查
工具:videonote_controlled_quality.py(檢查時間軸與品質)
處理:檢查語言、時間軸與可讀性品質
產出:controlled_quality_report.json(品質報告)、language_sanity_report.json(語言檢查)
耗時:0.4 秒
關係:依序執行
結果:完成
7. 播放時間軸回填
工具:videonote_rebase_display_timeline.py
處理:將網頁播放時間軸回填為校正字幕時間
產出:display_timeline_rebase_report.json(時間軸回填報告)
耗時:0.5 秒
關係:依序執行
結果:完成
8. 逐字稿交叉檢查
工具:videonote_cross_check_transcript.py
處理:交叉檢查逐字稿與來源字幕
產出:transcript_crosscheck_report.json(交叉檢查)
耗時:0.5 秒
關係:依序執行
結果:完成
9. 來源句整理
工具:videonote_prepare_source_entries.py
處理:整理來源句子供時間軸與頁面使用
產出:sentence_units.json(句子單元)
耗時:0.5 秒
關係:依序執行
結果:完成
10. 生成筆記摘要
工具:videonote-generate-note(生成筆記摘要)
處理:生成筆記摘要與重點
產出:note.md(筆記 Markdown)、note.html(筆記 HTML)
耗時:111.1 秒
關係:依序執行
結果:完成
11. 建立筆記頁面
工具:videonote-render-html(產生筆記 HTML)
處理:產生可閱讀的筆記 HTML 頁面
產出:note.html(筆記 HTML)
耗時:0.2 秒
關係:依序執行
結果:完成
12. 發布公開頁面
工具:videonote-publish(發布公開頁面)
處理:發布到公開網站與每日列表
產出:公開筆記網址、result.json(管線結果)
耗時:0.3 秒
關係:依序執行
結果:完成
手動來源字幕
- 尚未產生
自動來源字幕
Whisper 字幕
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據(PyAnnote / WhisperX)
- 尚未產生
校正前後逐字稿
- 校正前 transcript.whisper.json 純文字 JSON
- 校正後 transcript.json 純文字 JSON
目前待解決問題與初步改善方向
- 逐字稿全文快速校讀未完成
已保留自動字幕/原始逐字稿並繼續生成筆記。;未完成的全文速讀項目可在精進模式回聽確認。;RAPID_REVIEW_STATUS=REVIEW_REQUIRED_INVALID_OUTPUT
- 逐字稿可先使用,但有待校正清單
segment=77 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語;segment=78 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語;segment=79 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語;segment=102 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語;segment=124 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語;segment=125 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語;segment=135 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語;segment=136 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語;segment=138 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語;segment=139 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語;segment=140 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語;segment=149 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語
- Qwen3-ASR 未完成,需確認 qwen_asr_lab 環境與音訊後重試精進模式。