逐字稿文字預覽
你好,千万 你好,有什么我可以帮你的吗? 介绍一下你自己吧 我是千万Audio 一个能直接帮你处理电脑任务 管理日常 给我讲一个笑话吧 好的,给你讲一个。 有一天,程序员对电脑说,我要关机了。 电脑回答,好的,正在关机。 然后电脑又问,需要我帮你把咖啡也关掉吗? 程序员说,不用,咖啡是热的。 电脑说,那好吧,我这就把咖啡也热一下。 希望这个笑话能让你会心一笑。 大家好啊 刚才给这是给大家展示了一下 这个项目的一个效果 那么今天呢我们讲一个非常有趣 并且我感觉也比较新颖的一个项目 叫千万Audio Agent 大家看一下这个名字就非常清楚 这个项目讲了个什么事 就首先是Audio 重要的是Audio和Agent 这个千万那必须要介绍 肯定人家阿里搞的 感谢官方的分享 然后Audio和Agent 那么结合在一起 就是大家实际看到了 刚才我给大家展示的效果 可以进行语音交互 以及自然的问答 特别真实 特别流畅 而且大家可以看到视频中 那么这个项目也支持打断功能 你随时可以新的问题提出可以打断 那么下面啊 我们就看一下这个项目的一些具体介绍 以及安装注意事项 先说这个介绍吧 因为安装注意事项那还是比较复杂的 然后说这个项目呢 官方说是真正的交流 不该再说完一句话后陷入漫长的等待 也不该因为agent正在查资料 调用工具和处理任务 整场对话就此暂停 其实他 我是这么理解的 可能不是很正确 我认为就是一个真正的对话的一个agent 不需要再打字 那么通过这种对话的交流 就可以实现调用agent 调用工具 实现某种电脑上的具体的操作 然后我们接着看 做了这个 然后官方就做了这个agent 让agent持续交流 持续工作持续实时对话进行交流啊 这个我觉得还是 比较新颖啊 比较特别的 而且大家也看到 我们实际这个展示这个效果了啊 我感觉这个效果还是非常好的啊 也没有打断很流畅很连贯啊 就是这么样一个效果 然后下面呢 就是他的一个一个日志啊 就是更新日志 大家可以具体看一看啊 然后这个呢 就是一个实际的展示视频 那么大家有兴趣的话 我就不在这给大家一块看了 大家这一分多钟 大家自己去玩玩看 然后看一下特色 说双双全双弓实时语音交互 自然打断持续多轮对话 刚才的演示 我已经充分了给大家展示了个 什么叫实时语音交互 什么叫打断 什么叫持续多轮 刚才也是一种 已经给大家介绍了 已经给大家展示出来了 然后一键选择你办事的agent 服用所有的工具 mcp以及技能 这个项目还是扩展性 还是很好的 就这个扩展性的 这个说法呢 就是在于它可以 使用现有的工具 mcp以及技能 这个扩展性非常好 而兼容性也非常好 扩展和兼容性都非常好 然后前台对话与后台任务并假期去可以随时追追问任务进度和取消任务啊 这个我也我也尝试过完全ok的就是 他甚至可以开子任务啊 可以开子任务 但是他的子任务我目前认为可能他还是在在调用其他agent中的子任务去执行相关的任务工作啊 支持创建多个独立任务啊 然后由后台的agent一步执行啊 并持续追踪任务状态 就是我说的这个意思啊 其实用后台的这个agent 一步执行啊 多个独立的子agent的任务啊 就可以这么理解 可能比较绕嘴 还是其实总体来说 就这么样一个流程 就是说 呃 欠用audio agent去调用后台的agent 那么这个后台的agent 有多种方案 那么你可以选取一种agent的方案 然后这个Agent的方案可以一步的去使用其中的自Agent去执行任务啊 就是这么样一个流程 大家可以可以理解一下我说了这个意思啊 任务结束自动回答回答到当前对话 就是说他的一步子任务啊 完成之后可以就就给你一个反馈啊 就是一步的啊 支持继续问追问和修改啊 那么你也可以对这个一步任务进行继续的追问修改啊 这是webui 终端tui和桌面球啊 这个目前的话webui和终端ui的话 我没怎么用啊 但是我用的是个悬浮球 我认为这个悬浮球非常好用啊 我就没用那个webui和tui 中端tui 其实这两个其实也没什么 其实这三个没什么区别啊 我觉得这个终端球比较方便 所以也不占地方顺手就可以 捏来啊比较舒服 所以我就用这个了啊 支持大线用户长期个性化的跨绘化机翼 这个机翼我倒是没充分利用 我等于后期研究研究再给大家展示 那么这样这个就是探口价值物图啊 那么用户问了 然后通过这个audio runtime啊 通过上下文去执行这个audio runtime 这个agent啊agent runtime啊 然后给反馈啊 最终给了用户 其实就这么样一个流程啊 其实这个流程中 我们看了三个主要主体用户啊 呃 千万audio runtime啊 还有agent啊 这么三个呃主要的角色啊 主体啊 任务主体啊 那么这样就是一个一个简单的这个架构图 还有一个呃 具体的一个架构图啊 这个具体架构图 接入参考架构啊 那么这个架构图的话 呃 大家就自己去详细看吧 因为这个上面文字比较多啊 我不希望视频太长啊 但流程其实就跟上面这个大插不诈 只不过是可能做了很多的细分啊 下面啊 就说到了比较重要的东西了啊 就是他这个后端A站的 就是我们刚才讲的这个后端A站他这里啊 就刚才这个特色的后端A站他啊 那么这个后端的A站他呢啊 你可以选到没有啊 你也可以用啊 目前一只的全部主流啊 记得是全部主流的这种 A站的工具啊 可能是A站的工具啊 包括我就不念了 反正就是市面最主流的全部都有啊 嗯 这里面呢 我用的是Hermis啊 我觉得OpenCloud 我也挺想用的 但是 呃 我我我喜欢用的Hermis 因为我觉得现在Hermis的速度特别快啊 因为最近公新了这个 呃 181920这个版本之后 这个Hermis的 嗯 适配这个适配这个这个这个这个 这个枪笨这个的反应速度也很快啊 我认为非常好真的是非常好 至于说其他的比如说Codex啊 Clockcode啊还有这个OpenClock呢 我因为他是巧接啊 巧接的话他的我觉得他的反应 反应速度可能没有远胜速度那么快啊 所以我这里面最推荐的还是用Hermes啊 大家可以啊就是用自己喜欢的 然后如果你是用这个这个Web UI啊 你可以用这个这个安装啊 安装一下这个NUDEJS安装一下啊 大家注意这个node.js版本就行了 然后呢 适配这个模型啊 这个这个如果你是用这个node.js这个这个安装方案的话 那你就要需要 嗯去去在这个webui或者tui里面去配置一下 嗯相关的这个模型 k啊 呃包括这个云前天模型 还有这个 agent的这个后台agent的这个方案啊 嗯还有这个 后台麻像啊 因为他这里面麻像非常多啊 因为你看这就有 语音模型啊 语音前的语音模型用用于交互的啊 就是语音交互的啊 模型 然后这个后台模型呢 就是他交互的话 你不是有一个一个呃思考处理的过程吗 那么就是这个东西 其实啊这个就负责语音交互啊 这个就负责这个文字反馈啊 你可以这么想反馈吧啊 包括工具工具料用啊 也不是工具工具料用 其实也是后台agent就做投作啊 就是一个反馈吧 问答问答反馈啊 就像你正常使用 模型的问答反馈啊 然后啊 包括这些设置啊 包括你可以用这个 这个tui啊 可以听听 如重点来了啊 大家重点 如果你想用本地部署啊 那你就需要 ss2s啊 这个本地部署方案 然后桌面版的这个tui方案啊 tui方案啊 后台的agent啊 后台agent 各样化记忆的话这个东西 我还真没没去试 但是我觉得这个东西其实没必要去试 为什么呢 因为这个东西跟open cloud和hermes的话是一样的 那么都有这些角色都有那记忆 我认为没什么任何巨大的区别 顺手啊顺手拈来啊顺手就可以上手的事 所以没必要去具体去演示这个这个东西了啊 然后注意事项大家看一下啊 然后圆满圆满的开发啊 圆满用nodejs去做一些开发工作啊 总体来说的话 这个项目啊 我认为还是比较新颖的 这种全全上工的这种交互啊 打断 而且准确率非常好啊 非常好啊 是这样的啊 我还要补充几点啊 补充几点呢 是在于这几 这个安装和使用的问题啊 我找一下那个问题啊 就这里吧 就是说这个这个语音模型呢 他默认啊 你可以接阿里百列千万的这个这个API啊 那么APIAPI会一定的免费额度 那如果你想用本地的这个前台语音模型 那你只能用刚才我说这个S S2S啊 刚才那个我找一下那个位置啊 啊就这个s2s啊 去去接这个这个本地的云音模型啊 本地的云音模型 那么这个问题就解决了 而且这个本地的云模型 它又有两种方案 两种模型可以做 比如说你可以走GGUI GUF了和这个 这个这个这个原本 它是这个模型啊 就反正嗯 就是两种也是两种方案啊 但是根据你机器的情况啊 去做本地的部署 这是这个这个云模型啊 那么这两个本地部署的模型 包括API我都全部试了一遍啊 我认为可能API的效果会不好一点 但是其实本地的效果 我觉得也非常OK啊 就正常的正常的识别 以及正常的反馈都非常快啊 我而且它的显存的话 应该从 两三个G到 最高占用六个多G吧 就是这么样的显存占用 如果是用本地的这个云云前台模型的话 那如果你用的是 这个这个 后台模型啊 就是后台模型的话 你也可以用本地部署 因为你后台模型你可以接 这个用opencloud去接这个后台本地 本地的这个模型啊 也可以就说 就说 如果你不用这个后台 就是这个就就选择这个无模式啊 无无无这个后台一阵他的话 那么你就可以选用自己再接一个这个这个本地的这个 呃 比如说千万3.6 那一项目行啊就可以了 所以这个项目 完全可以实现 本地化 完全本地化 而且它的本地化 我感觉它的效果 其实就说能达到APR 我就认为80% 90%以上的效果 是没有任何问题的 我认为这个效果还是很好的 所以对于这种 语音全双公实施对话的agent 我还是比较看好的 也花了很长的时间 一两个周的时间 去对这个项目详细的了解了一下 那么今天就把这个项目推荐给大家 还有一点我想补充的话 就是说这个项目的部署难度是 如果是就是说你要接API的话 那么难度还不是很高 但是如果说你要走原生本地 本地去全部本地离线去做部署的话 这个项目难度还是有一定的难度 如果按照十分满分的话 我认为它的部署难度可能在五分左右 但是如果说像我这样老鼠的话 部署的话应该也就那么回事 也就非常简单也就部署完了 其实对于老鼠的话来说 这个项目部署并没有难度 但是对于刚接触部署的新同学来说的话 难度我认为是至少得有五分左右 是满分十分的话只有五分 所以这个项目推给推荐给大家啊 如果说大家在使用或安装过程中有任何的问题啊 欢迎大家平台随意我或者加我微啊 我联系方式都在视频下方啊 感谢大家观看 我们下期再见
本次執行流程與問題處理
下達指令
預期流程
- 自動字幕優先，Whisper 作為備援
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：1064.3 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：43.8 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：0.8 秒
關係：依序執行
結果：完成
4. 句子密度平衡
工具：videonote_balance_sentence_units.py
處理：平衡句子長度與密度
產出：sentence_units.json（句子單元）
耗時：0.9 秒
關係：依序執行
結果：完成
5. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：0.9 秒
關係：依序執行
結果：完成
6. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：0.9 秒
關係：依序執行
結果：完成
7. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：1.0 秒
關係：依序執行
結果：完成
8. 逐字稿交叉檢查
工具：videonote_cross_check_transcript.py
處理：交叉檢查逐字稿與來源字幕
產出：transcript_crosscheck_report.json（交叉檢查）
耗時：1.0 秒
關係：依序執行
結果：完成
9. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：1.0 秒
關係：依序執行
結果：完成
10. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：82.5 秒
關係：依序執行
結果：完成
11. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：0.6 秒
關係：依序執行
結果：完成
12. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：0.7 秒
關係：依序執行
結果：完成
手動來源字幕
- 尚未產生
自動來源字幕
Whisper 字幕
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
- 校正前 transcript.whisper.json 純文字 JSON
- 校正後 transcript.json 純文字 JSON
目前待解決問題與初步改善方向
- 逐字稿全文快速校讀未完成
已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。；RAPID_REVIEW_STATUS=REVIEW_REQUIRED_INVALID_OUTPUT
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。