影片筆記：Codex 保姆级实战教程：零基础玩转十大新功能！

一句話總結

本影片為 Codex 的保姆級實戰教程，詳細演示了從基礎安裝到進階的多智能體協作功能，重點介紹了 5 月 22 日更新的「應用快照（AppShots）」與「Go 模式（追求目標模式）」，並透過 Computer Use 插件、Chrome 擴展對比及掃雷遊戲實戰，展示了 AI 從「給建議」到「親自執行」的能力跨越。

核心重點

1. 安裝與基礎設置：推薦安裝桌面版以自動識別系統，並介紹 CLI 命令行工具以接入現有工作流。
2. 應用快照功能（AppShots）：5 月 22 日新增功能，允許用戶雙擊 Command 鍵發送當前應用截圖與文本，讓 AI 基於真實界面狀態進行理解、分析錯誤或修改 UI，甚至抓取滾動區域外的信息。
3. Computer Use 插件：4 月 16 日更新的核心功能，賦予 AI 獨立光標，使其能在後台進行截屏、點擊、輸入、滾動等操作。實戰演示了控制電腦發送文件及玩網頁掃雷遊戲，展現了其穩健但速度緩慢的特點。
4. Chrome 擴展 vs. 內嵌瀏覽器：強調 Chrome 擴展版能保留用戶的登錄狀態、Cookie 及跨標籤頁操作能力，區別於無 Cookie/登錄狀態的內嵌瀏覽器環境。
5. 多智能體協作與 Go 模式：通過模擬四人團隊（主編、插畫師、前端、項目經理）編寫兒童百科全書，演示了 Skill 使用、全局提示詞設定及 Sub-Agent 調度。重點介紹了新增的「Go 模式」（追求目標模式），支持無人值守、全託管執行，通過清晰的驗收標準和約束條件，實現了代碼重構、PDF 生成及高質量配圖的自動化流程。

詳細大綱

1. Codex 安裝與入門

• 桌面版安裝：推薦安裝桌面版，系統會自動識別。
• CLI 工具：介紹命令行工具安裝，用於接入現有工作流。

2. 應用快照功能（AppShots）

• 功能介紹：5 月 22 日新增功能。
• 操作方式：雙擊 Command 鍵發送當前應用截圖與文本。
• 能力演示：
• 抓取滾動區域外的信息。
• 識別產品官網及參數。
• 應用場景：基於真實界面理解問題、分析錯誤、修改 UI。

3. 手機端遠程控制與 Computer Use 插件

• 手機端設置：
• 升級最新版。
• 授權訪問權限。
• 連接電腦 Codex。
• Computer Use 插件解析：
• 4 月 16 日更新。
• 擁有獨立光標，進行後台交互（截屏、點擊、輸入、滾動）。
• 安全邊界：支付、登陸認證等敏感操作需人工把關（提及「支付、山庫等高風險決策」）。
• 實戰演示：控制電腦查找文件並發送（展示定位與全局搜索的邏輯問題）。

4. Chrome 擴展插件與網頁遊戲實戰

• 安裝流程：通過 Codex 工具欄安裝 Chrome 擴展，確認連接狀態。
• 掃雷遊戲實戰：
• 機制：連接 Chrome 標籤頁，讀取 DOM 數據，對比截屏，計算雷區。
• 評價：極度穩健（不踩雷），但速度緩慢（每一步之間都像隔了一個「试剂」），適合非計時推理任務，不適合追求速度的遊戲體驗。
• 內嵌瀏覽器 vs. Chrome 擴展對比：
• 內嵌：獨立環境，無 Cookie/登錄狀態，適合本地預覽/公開頁面。
• 擴展：融入真實環境，支持登錄狀態、跨標籤頁操作。

5. 多智能體協作與 Go 模式（追求目標模式）

• 項目背景：編寫兒童百科全書電子書，模擬四人團隊（主編、插畫師、前端、項目經理）。
• 功能組合：Skill 使用、全局提示詞設定、Sub-Agent 協同、GPT Image 2 配图。
• 初始執行結果：內容與框架生成成功，但 UI 缺乏設計語言，圖片表達不夠清晰。
• Go 模式（5 月 22 日新增）：
• 特點：支持無人值守、全託管執行、Token 消耗大（只要 token 管購）。
• 操作：設置執行目標與驗收標準，建議新建 Git 分支或備份。
• 實戰結果：經過 3.5 小時、60 多萬 Token 消耗，完成代碼重構（Next.js + ShedCN）、60 頁 PDF 生成及高質量配图，大幅提升交付水準。

6. 總結

• 智能體工具進化迅速，需通過清晰約束來提升質量與效率。

工具 / 模型 / 名詞整理

• Codex：主要介紹的智能體工具，包含桌面版、CLI、Chrome 擴展、手機版。
• AppShots：Codex 的應用快照功能。
• Computer Use：Codex 的插件名稱，用於電腦控制。
• Command 鍵：Mac 系統快捷鍵。
• iPhone 17 Pro：演示中提到的手機型號。
• A19 芯片：演示中提到的芯片型號。
• Chrome：瀏覽器名稱。
• 飛書：演示中用於發送文件的應用。
• Mac：操作系統平台。
• DOM：網頁文檔對象模型。
• 掃雷：網頁遊戲名稱。
• Git：版本控制工具。
• Next.js：前端框架。
• ShedCN / ShadCN：逐字稿中提及的組件庫名稱（疑點見下）。
• GPT Image 2：逐字稿中提及的配图模型/功能。
• Python：編程語言。
• PDF：文件格式。
• MD 文件：Markdown 文件。
• DesignMD：逐字稿中提及的設計規範文件。
• go 模式 / 追求目標：Codex 的新功能模式。
• 溫如雪：逐字稿中提及的人物卡片名稱。
• C Dance 2：逐字稿中提及的慢劇製作工具或模型。
• 山庫：逐字稿中提及「支付、山庫等高風險決策」。
• 试剂：逐字稿中提及「每一步之間都像隔了一個试剂」。
• 购模式 / 重购：逐字稿中多次出現，結合上下文疑為「Go 模式」或「重构」。
• 全托管执行：逐字稿中提及的功能描述。
• token 管购：逐字稿中提及的 Token 消耗描述。
• 切购模式：逐字稿中提及的操作描述。

操作流程整理

流程一：安裝與基礎設置

1. 安裝 Codex 桌面版。
2. （可選）安裝 CLI 命令行工具以接入工作流。

流程二：使用應用快照（AppShots）

1. 打開目標應用界面。
2. 雙擊 Command 鍵。
3. 發送當前應用截圖與文本給 Codex。
4. Codex 基於真實界面狀態進行理解、分析錯誤或修改 UI。

流程三：手機端遠程控制與 Computer Use

1. 手機端升級最新版 Codex。
2. 授權訪問權限。
3. 連接電腦 Codex。
4. 使用 Computer Use 插件進行後台交互（截屏、點擊、輸入、滾動）。
5. 在敏感操作（支付、登陸認證）時進行人工把關。

流程四：Chrome 擴展實戰（掃雷遊戲）

1. 通過 Codex 工具欄安裝 Chrome 擴展。
2. 確認連接狀態。
3. 連接 Chrome 標籤頁。
4. Codex 讀取 DOM 數據，對比截屏，計算雷區並進行操作。

流程五：多智能體協作與 Go 模式實戰

1. 設定項目背景（編寫兒童百科全書）。
2. 模擬四人團隊角色（主編、插畫師、前端、項目經理）。
3. 設定 Skill、全局提示詞、Sub-Agent 協同。
4. 初始執行生成內容與框架。
5. 切換至 Go 模式（追求目標模式）。
6. 設置執行目標與驗收標準（如：30 頁配图，30 頁文字）。
7. 建議新建 Git 分支或備份。
8. 執行無人值守、全託管任務。
9. 完成代碼重構、PDF 生成及配图。

值得注意的限制或風險

1. Computer Use 速度緩慢：實戰顯示掃雷遊戲中每一步之間都像隔了一個「试剂」，速度緩慢，適合非計時推理任務，不適合追求速度的遊戲體驗。
2. 敏感操作風險：支付、登陸認證等「支付、山庫等高風險決策」需人工把關。
3. Token 消耗巨大：Go 模式（追求目標模式）為全託管執行，Token 消耗大（實例中消耗 60 多萬 Token），需確保「token 管購」（Token 足夠）。
4. UI 與設計語言不足：初始執行結果中，UI 缺乏設計語言，圖片表達不夠清晰，需通過 Go 模式進行重構與優化。
5. 內嵌瀏覽器限制：內嵌瀏覽器為獨立環境，無 Cookie/登錄狀態，僅適合本地預覽或公開頁面，無法處理需要登錄狀態的複雜網頁操作。

逐字稿辨識疑點

• 溫如雪：逐字稿中提及的人物卡片名稱，疑為特定劇本或項目中的角色名，聽寫可能為「溫如雪」或其他同音詞。
• C Dance 2：逐字稿中提及的慢劇製作工具或模型，聽寫可能為「C-Dance 2」或其他名稱，需查證。
• 山庫：逐字稿中提及「支付、山庫等高風險決策」，疑為「賬戶」或「賬戶」的聽寫錯誤，或特定領域術語。
• 试剂：逐字稿中提及「每一步之間都像隔了一個试剂」，疑為「幾秒」或「階段」的聽寫錯誤。
• ShedCN：逐字稿中提及「組件庫用 ShedCN」，常見前端組件庫為「ShadCN」，此處為疑似錯字。
• 购模式 / 重购：逐字稿中多次出現「购模式」、「重购」，結合上下文「追求目標」、「Go 模式」，疑為「Go 模式」或「重构」的聽寫錯誤或特定譯名。
• 全托管执行：逐字稿中提及「全托管执行」，通常稱為「全托管」或「無人值守」。
• token 管购：逐字稿中提及「只要 token 管购」，疑為「Token 足夠」或「Token 管理」的聽寫錯誤。
• 切购模式：逐字稿中提及「直接切购模式」，疑為「切換 Go 模式」或「進入 Go 模式」。
• 30页配图，30页文字：驗收標準中的具體數字，保留原樣。
• 60多万Token：消耗量，保留原樣。
• 三个半小时：耗時，保留原樣。

可延伸追問

1. ShedCN 與 ShadCN 的區別：影片中提到的組件庫「ShedCN」是否為「ShadCN」的誤讀？兩者在使用上有何差異？
2. Go 模式的 Token 成本效益：在消耗 60 多萬 Token 的情況下，Go 模式帶來的效率提升是否值得？對於小型項目是否有更輕量的替代方案？
3. Computer Use 的安全機制：除了支付和登陸認證，還有哪些具體的操作場景被定義為「山庫」（高風險）？Codex 如何界定這些邊界？
4. 多智能體協作的具體分工：在模擬四人團隊中，Sub-Agent 之間如何具體協調？主編與插畫師的提示詞衝突如何解決？
5. AppShots 的技術限制：AppShots 對於非標準 UI 組件或動態變化的界面，識別準確度如何？