逐字稿文字預覽
大家好这里是 Hex-电脑课堂 本期要跟大家分享的是 一款开源的同声传译的神器 那这款工具在我自己使用体验后 我发现它的效果真的很惊艳 它不只是跨平台 支持Windows Linux还有macos 并且整个过程是完全免费的 更重要的是 它的效果是 我觉得是可以跟很多 商用闭源的去扳扳手腕的 OK那我们废话不多说 先给大家直接展示效果 人工智能 是一项对社会影响非常深远的技术 它将重塑社会的各行各业 OK那我们从现在开始 就要密切的关注这项技术并且 保持与时俱进 所以关注HEX电脑课堂 并且持续的学习 让我们一起在AI时代保持进步 人工智能是一项对社会 发展影响深远的技术 它将重塑我们社会各行各业 人工智能 它是一项对社会发展影响深远的技术 它将重塑我们社会各行各业 OK那大家可以看到刚才的演示 是不是它的效果非常好 那本期 我就将带大家手把手的来 完成这样项目的一个部署OK 那首先 它对系统是有些要求的 就是你是win10，win11 这个都没关系 然后你的电脑如果 没有GPU的话 也是ok的 它要求比较低 但是如果你有GPU 有英伟达的显卡 那更好了 那建议显存是大于等于8G以上 然后你的内存最低要4G 这是最低的 然后你的磁盘空间的话 是200兆以上 这个都是很低的条件 然后你的麦克风和 扬声器要正常工作 第一步我们去下载这个终端 我们来到这个网页 这他的官方网页 我们点击这个下载 然后点击下载之后 这个终端就会来 下载到有这样一个exe的文件 然后我们双击它 然后点击下一步下一步安装 就可以安装到本地了OK 然后我顺便提一下 因为它有两种形式 我们今天讲的是这种终端的形式 还有一种是它浏览器的 一个拓展插件的形式 那这个后面有机会我再给大家讲 那ok你终端装好之后 你桌面就会有这样一个LOGO图标 那我们现在双击打开它 它就会来到这样一个页面 我们可以看到右上角有 登录有字幕有设置等按钮 那我们这里 点击这个设置 我们这里可以选择我说什么语言 我这里选中文 然后对方听到什么语言 你可以去选的 就是这里选英语 那你一开始进来这里 都是没有什么东西的 你要自己去选 然后这些选的话也 不是你可以任意去选的 要根据你自己去配置的模型 那模型具体怎么配置 我跟大家说一下 比如大家可以看到 它这里总共是包括了三个模块 这里比如说有语音识别 有语音的那个文本的翻译 还有语音的合成 那这几个模型是我自己下载的 那我为什么选择下载这几个模型 我给大家说一下这个原因 因为我自己做了很多的一些测试OK 那这第二步的话 我们本期先不讲 因为这个东西是跟插件相关的 跟我们这期内容不是很相关 所以我们这边先过 然后我们先看到第三步 就是模型下载这里 模型下载这里了 首先它分成三个模型 刚刚跟大家提过了 然后我建议大家去下载哪个模型 去下载这一个 这个模型 这个mini 4B的 你可以看到为什么 因为这个模型 它的整体的效果是最好的 在这个地方你可以看到 它不管是它的精度还是速度 它都是5颗星 是满星的 所以我这边是给 用这个模型给大家去演示 然后我等下会教大家怎么去下载 对然后 我顺便给大家提一下 它这里有提到一个概念 就是什么webgpu 这个东西就是相当于是用GPU去做 网页端的一个渲染加速的 以往都是CPU 所以你选它的话会更好 速度更快 第二步的话去下载机器翻译的模型 那机器翻译的模型官方 这边推荐我们是用这个模型 就是这个叫做translate Gemma 它的速度和质量整体也是最好的 所以我们就选它 然后这边下载的好了之后 这个模型大概是有将近3G左右 然后你可以看到它这边 支持了各种各样的语言 语种也比较丰富 OK 然后TTS模型就是语音合成 就是那个播音的 那这个的话 我这边是选的是这个supersonic 那这个模型我们可以 看到它只有380多兆 对吧它比较小 然后它支持的语种也很丰富 那这样的话 就是你组合起来就会非常的丰富了 对吧你语音识别跟语音合成 包括那个翻译 那语种的范围就很丰富了 你的可拓展性就很强了对吧 OK那它怎么样配来 教大家首先我们来到语音识别这里 你默认的话它是会 这里有一个叫做浏览模型库 我们点击一下 然后这边有很多的模型 大家可以看到 这边我们就选择刚才已经下好的 我这边已经下好了 它就会显示使用中 你没有下载好的 我举个例子 你就点一下这个下载按钮 你点一下下载 它就会给你开始在本地去下载了 然后你就只要等个几分钟就好了 那这里的话 需要注意的就是你的 网络一定要保持全局模式 网络要稳定 你看他就现在已经开始下载了OK 那我这边暂时不用给他下 我就给他叉掉 我还是依然用我们的 这个mini的4B的这个模型OK然后 我们再接着去找刚才另外几个模型 比如说 语音那个翻译的模型 这个也有 这里我们 点击这个浏览模型库 都是一样的 很容易操作 这边我已经下载好了这个translate Gemma 刚才那个4B模型 那其他的模型你要下载也是一样的 在这个地方点下载按钮就好了 很简单 然后最后一个这个模型就是 那个语音合成的这个模型 同样还是在这里点浏览模型库 可以看到这底下有很多待选的 你根据自己的需求来选 那它这边会有一些标签 就是什么en, fa这些 这些是代表你这个语音的模型 它支持哪些语种 我这里选择一个很多的 大家可以看到 我把它也下载好了 下载好之后 这三个模型都配好了OK 那我们现在要把它选中了 就是你已经把它都选好了 然后这里有语音合成的一个速度 这个东西 它默认是1.0 我这里给它改成了1.2 可能我觉得稍微速度会快一点 这个根据个人的一个需求吧 都没有一个绝对的标准 然后底下这几个参数 我要给大家稍微提一下 这些都是默认已经配好的 它都是一个比较成熟的参数 你不用一般不用去改的 像这个什么 比如说这个最小的静音时长 这一项它一般是设置为1.4秒 是什么意思 就是我们说话的时候 如果两句话间隔超过了1.4秒的话 那么它就会把这里切割开 分成两句话 就这意思 然后最小的语音时长 它这里默认写的是0.4秒 也就是说 如果你说话的有一些 那种声音比较零碎 那个声音的片段小于0.4秒 他就不会给你去识别 就相当于是杂音对吧 这也是比较节省算力的一种方法 OK那这个都弄好之后 我们这里还有一个音频 这一项也是你的 就是你的物理的外设 我们要选什么 首先你的麦克风 你要选你的实际的物理的外设 你不要选其他的 不然他到时候连不通的 然后 这个东西其他一般就不用管了 然后还有这个供提供商 这个刚刚我们已经说过了 对然后就是常规这里 然后你要说什么 你要说中文 然后你希望对方听到什么 我选英文 那你这里的语言你要注意 因为我刚才选的那些模型 它支持了很多种语种 所以我这里才有的这么多选 如果你选的模型它就 支持一两种语种的话 你这个下拉框是没这么多选的 那我们这边选好之后 我们就点击这里开始会话 然后左边 它是有3个 这里是我 还有一个对方 还有一个两者 那我们目前主要是用 我这种方式就好了 如果是对方的话 那就是另外一种 这后面这两个我们今天不演示了OK 然后我们点击开始会话 这里加载好了之后 我们现在就可以说话了 然后你可以看到左上角 它正在识别我们讲的话 然后它这个是实时的 是流式的 那这个字有点小 我们可以点一下右上角 这里有一个字幕 把它放大一些 对整体看上去 它这个效果还可以 虽然说有时候可能 识别的个别字不太精准 那当然这可能也是我个人 有时候普通话不太标准 所以它识别起来 可能会有一些点误差 但是也不影响它的一个翻译 我们可以看到它整体 我觉得效果还是不错的 OK我们退出的话 我们就点一下ESC 然后这些字幕的话 它有一个删除的小按钮点一下 它就给它清空了 然后我们要结束的话 我们点击下方的这个结束会话 那这个就结束了 OK那如果你希望对方听到的 就我刚刚给大家演示了不同的语种 这个地方比如说你 想要他听到西班牙语 或者是你想要他听到日本语 那你这个地方切换一下就好了 然后你这里点击开始会话 你好可以听到我声音吗 你好 我想现在跟你分享一些事情 你可以看到 他这个字幕还是 就是逐步的播过去的 这个我觉得效果是非常好的 就是有你讲话 然后你可以看到这个字幕是在流动的 OK然后我们把它结束 然后我们可以再切换其他的这种语言 那这些都是类似的 我就不给大家一一去演示了 然后这上面有一些东西 我再给大家讲一下 就是提供商 那因为本地的其实我已经试过了 这几个模型它都是在本地 就没有去走任何在线的API 那如果有些小伙伴他说 我有在线的这种API的话 你也可以去用 这个都行 因为我觉得其实本地 的效果已经很棒了 大家可以看到 那这边怎么选 你可以看到 首先在这个地方点常规 然后这里有个AI服务提供商 我们点一下 这里有Openai 有一些其他的 比如说什么豆包 还有那个谷歌Gemini呀 等等的这些 你有买哪个API 你就给它对应的输入 比如我点Openai的 你看你点进Openai的 这个地方填入你的密钥 然后这里音频的话 这个保持不动 提供商这一块的话 你可以选 在这里选择 就是Openai那个语音的模型对应的 发音的那个角色对吧 你自己去选 然后这些东西你可以把 它参数对应的填过去 它就可以调在线的API了，对 那原理是一样的 但是我自己是觉得 就是其实我们免费的 就是我今天给大家 展示的主要是免费的 已经够用了对 所以整体实现下来这个效果是 我觉得是在我目前 就是看过的所有的开源的 这种同声传译的项目里面 应该是最好的了 所以我强烈建议大家 尤其是很多小伙伴经常需要 就是用到外语去交流 但是自己可能外语 水平可能还没那么好 用这些工具我觉得是 对你有很大的帮助的OK 那本期的这些课程资源其实比较少 但是我会放到评论区 大家直接可以去用 那我最后还要提到一个注意点 就是我在实际使用过程中 很多小伙伴使用的时候会报错 那这个报错是什么原因造成的 就是我们一定要注意 我们用到的这三个模型 它支持的语种范围是什么 举个例子 比如说我这里的语种 它有一个粤语 这也是支持的 我们可以看到这有粤语对吧但是 我这里说话的话 我说的是普通话然后 我这个语音识别可能它这个模型 它能够识别普通话 但是它语音合成的那个模型 它不支持播放粤语 那么它就会报错 你这三个模型 大家可以看到 就是你这三个模型 它们支持的语种一定要有共同的 那么这个链路才是通的 有一个不支持的 那么你这个链路就通不了 小伙伴可能遇到的这些 大部分可能是这一方面的问题 还有就是你网络不好 你网络如果有问题的话 你没开全局模式的话 你这些模型是下载不到你本地的 还有一个细节就是 关于这里有个登录 这里刚才跟大家有讲过 你看这个登录这里 你可以点击去注册 或者是就已经有账号就登录进去 那它本质上 它会用到它云端的这个sokuji 它自己的翻译服务 api 那对于有些小伙伴不想去折腾 你可以去用它 那这样的话你就不用 去本地下载模型了 但是要提醒一下大家就是 你这样的话 你的数据是会经过它的服务器的 就是说数据的隐私性 就保障没那么好 根据自己的需求来 如果你全都想让数据不 出自己的本地的电脑 那么你就用我刚刚给大家讲的方法 还有一点 也是我个人使用的一个经验 这个东西对大家应该很有帮助 同声传译这个东西 大家要知道它最看重的是什么 就是一个是翻译的准确性 一个是它的一个时延 就是我们那个翻译的 那个时间不能太久了 这样的话就做不到同声了 那我们要想在这个项目中 要尽量的去把它时延降低 让它的用户体验更好 应该怎么去做 首先刚才我跟大家是讲了 它里面有很多模型对吧 大家可以看到这模型是有一大堆的 那么我们应该怎么去选模型 大家要记住 你要选肯定要去选流式的 也就是说不要选非流式的模型 那流式的模型一般会带上 一个叫realtime的这个字段 然后有这个Web GPU的 你就尽量去选它对 这个是一个细节 很重要的 就是你选那种非流式的 它推你的话 那整个链路就会很慢了 等于说你说完半句话以后 别人都已经说完下一句了 它还没翻译完 那当然那那体验就很不好了对吧 所以大家一定要记住 就是要尽量选流式的模型 不管是语音识别 还是那个翻译 或者是那个语音合成 都要去选流式的 然后有GPU的话 就要去把那个webgpu那个也选好 那本期视频 我就跟大家分享到这了 大家如果觉得我的 视频对你有帮助的话 也请支持一下我的创作 帮我点赞关注转发 那本期内容到此结束 我们下期再会
本次執行流程與問題處理
下達指令
預期流程
- 採用來源字幕（略過語音辨識）
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：40.3 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：42.3 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：0.3 秒
關係：依序執行
結果：完成
4. 句子密度平衡
工具：videonote_balance_sentence_units.py
處理：平衡句子長度與密度
產出：sentence_units.json（句子單元）
耗時：0.4 秒
關係：依序執行
結果：完成
5. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：0.4 秒
關係：依序執行
結果：完成
6. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：0.4 秒
關係：依序執行
結果：完成
7. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：0.5 秒
關係：依序執行
結果：完成
8. 時間軸整合
工具：videonote_timeline_reconcile.py
處理：整合字幕、Whisper 與 VAD 時間證據
產出：timeline_evidence.json（時間軸證據）
耗時：0.8 秒
關係：依序執行
結果：完成
9. 逐字稿交叉檢查
工具：videonote_cross_check_transcript.py
處理：交叉檢查逐字稿與來源字幕
產出：transcript_crosscheck_report.json（交叉檢查）
耗時：0.9 秒
關係：依序執行
結果：完成
10. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：0.9 秒
關係：依序執行
結果：完成
11. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：91.1 秒
關係：依序執行
結果：完成
12. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：0.2 秒
關係：依序執行
結果：完成
13. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：0.3 秒
關係：依序執行
結果：完成
手動來源字幕
自動來源字幕
Whisper 字幕
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
- 校正前 transcript.source.json 純文字 JSON
- 校正後 transcript.json 純文字 JSON
目前待解決問題與初步改善方向
- 逐字稿全文快速校讀未完成
已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。；RAPID_REVIEW_STATUS=REVIEW_REQUIRED_INVALID_OUTPUT
- 逐字稿可先使用，但有待校正清單
segment=14 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=144 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。