# 影片筆記:Codex 保姆级实战教程:零基础玩转十大新功能! ## 一句話總結 本影片為 Codex 的保姆級實戰教程,詳細演示了從基礎安裝到進階的多智能體協作功能,重點介紹了 5 月 22 日更新的「應用快照(AppShots)」與「Go 模式(追求目標模式)」,並透過 Computer Use 插件、Chrome 擴展對比及掃雷遊戲實戰,展示了 AI 從「給建議」到「親自執行」的能力跨越。 ## 核心重點 1. **安裝與基礎設置**:推薦安裝桌面版以自動識別系統,並介紹 CLI 命令行工具以接入現有工作流。 2. **應用快照功能(AppShots)**:5 月 22 日新增功能,允許用戶雙擊 Command 鍵發送當前應用截圖與文本,讓 AI 基於真實界面狀態進行理解、分析錯誤或修改 UI,甚至抓取滾動區域外的信息。 3. **Computer Use 插件**:4 月 16 日更新的核心功能,賦予 AI 獨立光標,使其能在後台進行截屏、點擊、輸入、滾動等操作。實戰演示了控制電腦發送文件及玩網頁掃雷遊戲,展現了其穩健但速度緩慢的特點。 4. **Chrome 擴展 vs. 內嵌瀏覽器**:強調 Chrome 擴展版能保留用戶的登錄狀態、Cookie 及跨標籤頁操作能力,區別於無 Cookie/登錄狀態的內嵌瀏覽器環境。 5. **多智能體協作與 Go 模式**:通過模擬四人團隊(主編、插畫師、前端、項目經理)編寫兒童百科全書,演示了 Skill 使用、全局提示詞設定及 Sub-Agent 調度。重點介紹了新增的「Go 模式」(追求目標模式),支持無人值守、全託管執行,通過清晰的驗收標準和約束條件,實現了代碼重構、PDF 生成及高質量配圖的自動化流程。 ## 詳細大綱 ### 1. Codex 安裝與入門 * **桌面版安裝**:推薦安裝桌面版,系統會自動識別。 * **CLI 工具**:介紹命令行工具安裝,用於接入現有工作流。 ### 2. 應用快照功能(AppShots) * **功能介紹**:5 月 22 日新增功能。 * **操作方式**:雙擊 Command 鍵發送當前應用截圖與文本。 * **能力演示**: * 抓取滾動區域外的信息。 * 識別產品官網及參數。 * **應用場景**:基於真實界面理解問題、分析錯誤、修改 UI。 ### 3. 手機端遠程控制與 Computer Use 插件 * **手機端設置**: * 升級最新版。 * 授權訪問權限。 * 連接電腦 Codex。 * **Computer Use 插件解析**: * 4 月 16 日更新。 * 擁有獨立光標,進行後台交互(截屏、點擊、輸入、滾動)。 * **安全邊界**:支付、登陸認證等敏感操作需人工把關(提及「支付、山庫等高風險決策」)。 * **實戰演示**:控制電腦查找文件並發送(展示定位與全局搜索的邏輯問題)。 ### 4. Chrome 擴展插件與網頁遊戲實戰 * **安裝流程**:通過 Codex 工具欄安裝 Chrome 擴展,確認連接狀態。 * **掃雷遊戲實戰**: * **機制**:連接 Chrome 標籤頁,讀取 DOM 數據,對比截屏,計算雷區。 * **評價**:極度穩健(不踩雷),但速度緩慢(每一步之間都像隔了一個「试剂」),適合非計時推理任務,不適合追求速度的遊戲體驗。 * **內嵌瀏覽器 vs. Chrome 擴展對比**: * **內嵌**:獨立環境,無 Cookie/登錄狀態,適合本地預覽/公開頁面。 * **擴展**:融入真實環境,支持登錄狀態、跨標籤頁操作。 ### 5. 多智能體協作與 Go 模式(追求目標模式) * **項目背景**:編寫兒童百科全書電子書,模擬四人團隊(主編、插畫師、前端、項目經理)。 * **功能組合**:Skill 使用、全局提示詞設定、Sub-Agent 協同、GPT Image 2 配图。 * **初始執行結果**:內容與框架生成成功,但 UI 缺乏設計語言,圖片表達不夠清晰。 * **Go 模式(5 月 22 日新增)**: * **特點**:支持無人值守、全託管執行、Token 消耗大(只要 token 管購)。 * **操作**:設置執行目標與驗收標準,建議新建 Git 分支或備份。 * **實戰結果**:經過 3.5 小時、60 多萬 Token 消耗,完成代碼重構(Next.js + ShedCN)、60 頁 PDF 生成及高質量配图,大幅提升交付水準。 ### 6. 總結 * 智能體工具進化迅速,需通過清晰約束來提升質量與效率。 ## 工具 / 模型 / 名詞整理 * **Codex**:主要介紹的智能體工具,包含桌面版、CLI、Chrome 擴展、手機版。 * **AppShots**:Codex 的應用快照功能。 * **Computer Use**:Codex 的插件名稱,用於電腦控制。 * **Command 鍵**:Mac 系統快捷鍵。 * **iPhone 17 Pro**:演示中提到的手機型號。 * **A19 芯片**:演示中提到的芯片型號。 * **Chrome**:瀏覽器名稱。 * **飛書**:演示中用於發送文件的應用。 * **Mac**:操作系統平台。 * **DOM**:網頁文檔對象模型。 * **掃雷**:網頁遊戲名稱。 * **Git**:版本控制工具。 * **Next.js**:前端框架。 * **ShedCN** / **ShadCN**:逐字稿中提及的組件庫名稱(疑點見下)。 * **GPT Image 2**:逐字稿中提及的配图模型/功能。 * **Python**:編程語言。 * **PDF**:文件格式。 * **MD 文件**:Markdown 文件。 * **DesignMD**:逐字稿中提及的設計規範文件。 * **go 模式** / **追求目標**:Codex 的新功能模式。 * **溫如雪**:逐字稿中提及的人物卡片名稱。 * **C Dance 2**:逐字稿中提及的慢劇製作工具或模型。 * **山庫**:逐字稿中提及「支付、山庫等高風險決策」。 * **试剂**:逐字稿中提及「每一步之間都像隔了一個试剂」。 * **购模式** / **重购**:逐字稿中多次出現,結合上下文疑為「Go 模式」或「重构」。 * **全托管执行**:逐字稿中提及的功能描述。 * **token 管购**:逐字稿中提及的 Token 消耗描述。 * **切购模式**:逐字稿中提及的操作描述。 ## 操作流程整理 ### 流程一:安裝與基礎設置 1. 安裝 Codex 桌面版。 2. (可選)安裝 CLI 命令行工具以接入工作流。 ### 流程二:使用應用快照(AppShots) 1. 打開目標應用界面。 2. 雙擊 Command 鍵。 3. 發送當前應用截圖與文本給 Codex。 4. Codex 基於真實界面狀態進行理解、分析錯誤或修改 UI。 ### 流程三:手機端遠程控制與 Computer Use 1. 手機端升級最新版 Codex。 2. 授權訪問權限。 3. 連接電腦 Codex。 4. 使用 Computer Use 插件進行後台交互(截屏、點擊、輸入、滾動)。 5. 在敏感操作(支付、登陸認證)時進行人工把關。 ### 流程四:Chrome 擴展實戰(掃雷遊戲) 1. 通過 Codex 工具欄安裝 Chrome 擴展。 2. 確認連接狀態。 3. 連接 Chrome 標籤頁。 4. Codex 讀取 DOM 數據,對比截屏,計算雷區並進行操作。 ### 流程五:多智能體協作與 Go 模式實戰 1. 設定項目背景(編寫兒童百科全書)。 2. 模擬四人團隊角色(主編、插畫師、前端、項目經理)。 3. 設定 Skill、全局提示詞、Sub-Agent 協同。 4. 初始執行生成內容與框架。 5. 切換至 Go 模式(追求目標模式)。 6. 設置執行目標與驗收標準(如:30 頁配图,30 頁文字)。 7. 建議新建 Git 分支或備份。 8. 執行無人值守、全託管任務。 9. 完成代碼重構、PDF 生成及配图。 ## 值得注意的限制或風險 1. **Computer Use 速度緩慢**:實戰顯示掃雷遊戲中每一步之間都像隔了一個「试剂」,速度緩慢,適合非計時推理任務,不適合追求速度的遊戲體驗。 2. **敏感操作風險**:支付、登陸認證等「支付、山庫等高風險決策」需人工把關。 3. **Token 消耗巨大**:Go 模式(追求目標模式)為全託管執行,Token 消耗大(實例中消耗 60 多萬 Token),需確保「token 管購」(Token 足夠)。 4. **UI 與設計語言不足**:初始執行結果中,UI 缺乏設計語言,圖片表達不夠清晰,需通過 Go 模式進行重構與優化。 5. **內嵌瀏覽器限制**:內嵌瀏覽器為獨立環境,無 Cookie/登錄狀態,僅適合本地預覽或公開頁面,無法處理需要登錄狀態的複雜網頁操作。 ## 逐字稿辨識疑點 * **溫如雪**:逐字稿中提及的人物卡片名稱,疑為特定劇本或項目中的角色名,聽寫可能為「溫如雪」或其他同音詞。 * **C Dance 2**:逐字稿中提及的慢劇製作工具或模型,聽寫可能為「C-Dance 2」或其他名稱,需查證。 * **山庫**:逐字稿中提及「支付、山庫等高風險決策」,疑為「賬戶」或「賬戶」的聽寫錯誤,或特定領域術語。 * **试剂**:逐字稿中提及「每一步之間都像隔了一個试剂」,疑為「幾秒」或「階段」的聽寫錯誤。 * **ShedCN**:逐字稿中提及「組件庫用 ShedCN」,常見前端組件庫為「ShadCN」,此處為疑似錯字。 * **购模式** / **重购**:逐字稿中多次出現「购模式」、「重购」,結合上下文「追求目標」、「Go 模式」,疑為「Go 模式」或「重构」的聽寫錯誤或特定譯名。 * **全托管执行**:逐字稿中提及「全托管执行」,通常稱為「全托管」或「無人值守」。 * **token 管购**:逐字稿中提及「只要 token 管购」,疑為「Token 足夠」或「Token 管理」的聽寫錯誤。 * **切购模式**:逐字稿中提及「直接切购模式」,疑為「切換 Go 模式」或「進入 Go 模式」。 * **30页配图,30页文字**:驗收標準中的具體數字,保留原樣。 * **60多万Token**:消耗量,保留原樣。 * **三个半小时**:耗時,保留原樣。 ## 可延伸追問 1. **ShedCN 與 ShadCN 的區別**:影片中提到的組件庫「ShedCN」是否為「ShadCN」的誤讀?兩者在使用上有何差異? 2. **Go 模式的 Token 成本效益**:在消耗 60 多萬 Token 的情況下,Go 模式帶來的效率提升是否值得?對於小型項目是否有更輕量的替代方案? 3. **Computer Use 的安全機制**:除了支付和登陸認證,還有哪些具體的操作場景被定義為「山庫」(高風險)?Codex 如何界定這些邊界? 4. **多智能體協作的具體分工**:在模擬四人團隊中,Sub-Agent 之間如何具體協調?主編與插畫師的提示詞衝突如何解決? 5. **AppShots 的技術限制**:AppShots 對於非標準 UI 組件或動態變化的界面,識別準確度如何?