影片筆記：qwen-audio-agent-全双工实时语音交互agent助手安装教程和注意事项

<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->

⚠️ 可先使用，仍有待修正項目

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

• 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

一句話總結

本影片介紹了由阿里達摩院開發的「千萬 Audio Agent」，這是一個支援全雙工實時語音交互的 AI Agent，講者詳細演示了其 Web UI、終端 TUI 及桌面懸浮球三種介面，並重點說明了本地化部署方案，包括透過 S2S 技術連接本地語音模型及透過 OpenClaw 接入本地後台模型，評估本地部署難度約為 5/10，效果可達 API 版本的 80%-90%。

核心重點

• 項目介紹：「千萬 Audio Agent」是阿里達摩院開發的項目，支援全雙工（Full-duplex）實時語音交互，具備自然對話、即時打斷、持續多輪對話能力。
• 介面選擇：系統提供 Web UI、終端 TUI 及桌面懸浮球三種介面，講者強烈推薦使用桌面懸浮球，因其不佔空間且使用方便。
• 技術架構：系統分為前台語音交互與後台 Agent 執行兩部分。前台處理語音上下文，後台執行 Agent 任務並反饋結果。
• 本地化部署：
• 支援本地部署語音模型（透過 S2S 技術，支援 GGUF 格式）與後台模型（透過 OpenClaw 接入，如千萬 3.6）。
• 本地語音模型顯存佔用約 2-6GB。
• 本地化效果可達到 API 版本的 80%-90%。
• 部署難度評估為 5/10 分，對熟悉部署的使用者而言並不困難。
• 後台模型推薦：講者推薦使用 Hermes 模型，因其速度快。

詳細大綱

1. 項目介紹與功能展示

• 核心功能：
• 語音交互：無需打字，通過語音調用 Agent 和工具，實現電腦操作。
• 交互體驗：全雙工實時語音交互、自然打斷、持續多輪對話。
• 任務管理：支持創建多個獨立任務，後台 Agent 一步執行，持續追蹤狀態，任務結束後自動反饋。
• 特色：一鍵選擇 Agent，擴展性與兼容性強。

2. 介面與使用體驗

• 支援介面：Web UI、終端 TUI、桌面懸浮球。
• 講者偏好：推薦使用桌面懸浮球（講者口語稱為「桌面球」或「懸浮球」），方便不佔空間，隨手捏取。
• 個人體驗：演示效果流暢，無明顯打斷，擴展性良好。

3. 技術架構與流程

• 主要角色：用戶、千萬 Audio Runtime、Agent。
• 工作流程：用戶提問 -> Audio Runtime 處理上下文 -> Agent Runtime 執行 -> 反饋給用戶。
• 後台 Agent 方案：支援多種主流後台模型，講者推薦 Hermes（速度快）。

4. 部署與配置指南

• 基礎環境：Node.js 安裝與版本配置。
• 模型配置：
• 前台語音模型：支援阿里百煉 API 或本地 S2S 方案。
• 後台模型：支援 OpenClaw、Codex、OpenClaw 等，講者推薦 Hermes。
• 本地化部署方案細節：
• 語音模型：透過 S2S 接入本地語音模型（支援 GGUF 等格式）。
• 後台模型：透過 OpenClaw 接入本地後台模型（如千萬 3.6）。
• 資源與效果：
• 本地語音模型顯存佔用約 2-6GB。
• 本地化效果可達 API 版本的 80%-90%。
• 難度評估：本地全離線部署難度約 5/10 分，對新手有挑戰，對熟練者簡單。

工具 / 模型 / 名詞整理

• 項目/產品名稱：
• 千萬 Audio Agent
• 千萬 Audio
• 阿里百煉（阿里達摩院）
• Web UI
• 終端 TUI
• 桌面懸浮球（講者口語稱為「桌面球」或「懸浮球」）
• Audio Runtime
• Agent Runtime
• 開發環境/依賴：
• Node.js
• S2S（Speech-to-Speech，講者口語提及）
• GGUF（講者口語提及的模型格式）
• 後台模型/服務：
• Hermes（講者推薦）
• OpenClaw（講者口語提及，可能指代某類模型服務）
• Codex
• 千萬 3.6（講者口語提及的後台模型版本）
• 181920（講者口語提及的 Hermes 版本號，疑點）

操作流程整理

1. 環境準備：安裝並配置 Node.js。
2. 選擇介面：根據需求選擇 Web UI、終端 TUI 或桌面懸浮球（推薦懸浮球）。
3. 配置前台語音模型：

• 若使用雲端：配置阿里百煉 API。
• 若本地部署：透過 S2S 技術接入本地語音模型（需準備 GGUF 格式模型，佔用 2-6GB 顯存）。

1. 配置後台模型：

• 透過 OpenClaw 接入後台模型。
• 講者推薦使用 Hermes 模型。
• 若本地部署後台模型，可接入如千萬 3.6 等模型。

1. 啟動與交互：

• 啟動 Audio Runtime 與 Agent Runtime。
• 通過語音進行提問，系統處理上下文並執行 Agent 任務。
• 系統反饋結果，完成任務追蹤。

值得注意的限制或風險

• 本地部署難度：本地全離線部署難度評估為 5/10 分，對新手具有一定挑戰性。
• 資源佔用：本地語音模型需要佔用約 2-6GB 的顯存。
• 效果差異：本地化部署的效果約為 API 版本的 80%-90%，存在一定性能損耗。
• 辨識不確定性：影片中提及的部分術語（如「雙全弓」、「並假期去」、「一步執行」等）存在聽寫或口語辨識上的疑點，可能影響對技術細節的精確理解。

逐字稿辨識疑點

• 千萬 Audio：講者多次提及「千萬」，可能為「通義千問」或特定品牌名稱的聽寫錯誤，但講者明確稱呼為「千萬 Audio」，故保留原樣。
• 雙全弓：講者口語為「雙全弓」，應指「雙全工」（Full-duplex），但依規則標為疑點。
• 並假期去：講者口語為「並假期去」，應指「並行執行」或類似含義，但依規則標為疑點。
• 一步執行：講者多次提及後台 Agent「一步執行」，語意不明，可能為「一步到位」或「同步執行」的聽寫錯誤，但依規則標為疑點。
• 大線用戶：講者口語為「大線用戶」，可能指「大量用戶」或特定術語，但依規則標為疑點。
• 跨繪化機翼：講者口語為「跨繪化機翼」，語意不明，可能為「跨平台機制」或類似含義的聽寫錯誤，但依規則標為疑點。
• 探口價值物圖：講者口語為「探口價值物圖」，可能指「架構圖」或「價值圖」，但依規則標為疑點。
• 後端A站：講者口語為「後端A站」，可能指「後台 Agent」，但依規則標為疑點。
• 181920：講者提及 Hermes 的「181920 這個版本」，版本號格式異常，疑點。
• OpenCloud / OpenClaw：講者交替使用「OpenCloud」和「OpenClaw」，指代同一類後台模型服務，疑點。
• 云音模型：講者口語為「云音模型」，可能指「語音模型」，但依規則標為疑點。
• 鼠鼠：講者自稱「老鼠」或「鼠鼠」，可能為個人暱稱或口誤，但依規則標為疑點。

可延伸追問

• 如何具體配置 S2S 技術以接入本地語音模型？
• Hermes 模型相比其他後台模型（如 Codex）在速度上的具體優勢數據為何？
• 桌面懸浮球介面的具體安裝步驟與系統兼容性要求是什麼？
• 本地部署後台模型時，OpenClaw 的具體配置參數與常見錯誤有哪些？