逐字稿文字預覽
过去呢语音转文字呢 大家都是在追求我们的一个精确度 那么每个字呢 都要清晰的辨识出来 但是呢这在AI时代呢 已经是最基本的功能了 那么更重要呢 反而是能不能将我们多余的词去除 把内容呢整理成合适的格式等等对吧 那这样之后呢 我们就不用再花时间去修理 直接就能用 那么因此呢 谷歌发布了它的 新一代语音转文字模型 那么就是Gemini 3. 5 Transcribe 那么这款模型呢 它总共有四大核心的一个功能 Gemini 3. 5 Transcribe支持呢超过85种语言 而且呢是自动侦测 你不用呢事先告诉他这段录音 这段语音讲的是哪个语言 那么模型呢 它自己会去判断区域口音跟方言 那么这通常呢需要中英文 夹杂的使用场景来说相当方便 另外呢说话人区分呢还支持将我们的 发言者自动识别 可自动标识呢每段内容是由谁说的 那么目前呢 最多自动支支持呢 最多 8 位发言者 那么不过官方注明呢 是3 位以上的发言者呢 仍目前在实验上的一个功能 那么还有一个呢 就是它的一个智慧转录 那么可以说是Gemini 3. 5transcribe的一个最大特点 那么传统的语音转文字呢 就是逐字转 你讲什么 它输出什么 它包含你所有的一个口误停顿和废话 Gemini 3. 5 Transcribe呢 多做了一层理解 那么像是你说我们礼拜二见不 是礼拜三 那么模型呢 会自动判断后面那句修正 那么最后呢 只留下了礼拜三 那么同样的其他类似“哦”的 填空音呢 也会被清掉同样呢 语气自然的停顿也不会被 当成一个我们的一个句号 断掉那么这个呢 就它的一个主要的核心的大功能 好那接下来呢 给大家小伙伴分享 一下我们如何去使用同样的 我们可以在Google AI Studio里面去使用它 那么关于官网上呢 它其实少介绍了一个功能 那么就它还有一个Share Audio from Tab 那么也就说呢 可以将我们浏览器上 任何的这种视频画面 都可以转换成实时的 一个音频呢转给我们 那么等会呢给大家一块体验一下 这个功能呢非常方便 那么我们以后 如果看到的视频没有字幕什么的 我们完全不用担心 我们只要打开我们的免费的Google AI Studio 那么切换到Gemini 3. 5 的 Live Translation Preview这个模型上 那么在开启呢 我们就可以实时的 同步听到一个语音了 等会给大家做个演示哈 那么首先给大家说下 我们如何去使用它 我们呢打开我们的Google AI Studio的一个官网 这个网址 到时候呢 放在视频下方 那么打开之后呢 我们点击右上角 点右上角之后呢 我们选择Audio 选择Audio这选项 那么选择这个Audio选项之后呢 我们在这里选择最新的 就是刚才给大家分享的Gemini 3. 5 Live Translation Preview这个模型 我们点击这里 点完之后呢 我们会进入到一个这样的界面 这个界面呢 它支持两种模式 一种是talk 第二个呢 就是Share Audio from Tab 那么talk呢 就是很简单的 直接录取你当前的 麦克风的一个语音 也就说呢 实时的转录 那么第二个呢 就是Share Audio from Tab 那么也就说 等会给大家分享了 直接通过其他浏览器的 标签页读取 这段它的声音自动给 你转成你需要语言 那么往上这里呢 有7种题词 我们都不需要改 那么下面要改的地方 就是你需要转录的这个 语言的 你的目标语言 它默认的是英文 那比如说呢 我现在选的是一个中文 你也可以选择其他的 这个呢你根据你自己的需要 我们可以看到它最多呢 支持85种语言 那么覆盖了基本上全球的各种语言 那么你就可以选择你自己的 我选择一个中文简体 选择中文简体 选择中文简体之后呢 你这里呢有两种方式 第一个呢是talk 如果说你想 开启一个转录功能 比如说整理笔记 干什么的 我们开启talk 好我们开启talk之后好 我明天呢想去公园 不我后天去 我大后天去公园 大家可以看到 它在那实时就给录出来了 因为我这里呢 是选择的目标语言和 原来呢是一样的 所以说呢 它就没有进行一个翻译 那么如果说你选择一个其他语言呢 就可以那么这个talk呢 它只是说做一些我们 的一个会议的整理 还是非常非常的不错的 你看到没有 它这呢会把一些多余的提示词呢 都给去除掉 那么保证它的一些啊 就是多余的 它保证主要的信息 保存下来 好那么另外一个功能呢 就非常重要了 就是我们的一个Share Audio from Tab 那么这个功能呢 就是说我们可以选择其他 的Tab 页来进行一个翻译 那么比如说呢 我们选择一个 好我们选择它 选完之后呢 我们选择先翻译一个 YouTube上的一个新闻 好我们点击分享 好 我们点击开始 还有数百万桶的石油 美国说 不管你喜不喜欢 这场战争显然是一系列巩固了伊朗对国家控制的行动 了伊朗对国家控制的行动 和我一起讨论伊朗 辩论的是约翰米尔斯海默教授 的海默教授 他是芝加哥大学的政治学教授 他也是西点军校的毕业生 曾在陆军服役 担任上尉 他是多本著作的作者 包括常规威慑和核威慑 伦理学和 大家可以看到没有 就说呢它会实时录音 把原先的这个Tab 页 的这个音量呢降低 然后呢把Google AI Studio 的这个音量呢会提高 那这样来呢 就保证我们就是原始的语音呢 它只会保持很小的一部分 并不会影响到我们就是 我们听到这个语音的清晰度对吧 而且呢它会保留 就是说它的语气用词 比如说它的这位主持人呢 它的语气用词怎么样呢 它都会进行一个自动的 一个语气用词的一个整理 所以说呢 这是非常非常 我觉得非常非常厉害的部分 那么刚才给大家测试的一个 YouTube的对吧 英语那么再给大家看一下日语 日语它也是正常的识别的 我们这里呢 只需要选择我们的目标语言就可以了 我们不需要选择它的原始语言 它模型呢会自动进行一个识别 好我们这时候点击这里 好我们选择重新选择Tab 我们选择我们选择这个 日语的这个YouTube标签 我们点击分享 开始播放 上午发布了大雨特别警报 此外 已经发生了泛滥的可能性很高的河流 请大家务必采取保护生命的行动 强烈呼吁 生命面临危险 所以请立即确保自身安全 必须采取行动的情况 大家可以看到 那么这个呢也是完整的识别 了我们的一个日语的情况 而且呢它会每个 主持人比如说是男士的发音 女士的发音呢 它会自动识别 并且呢语气呢 保持一致 那么这来呢 就说没有问题对吧 它可以完全自动的识别原始的这个 语音就是他这个什么语言 他而且呢 他会自动翻成你最终设置的Target Language 也就说你设置最终的目标语言 他能保持这个的统一度 那么这个呢 给大家设置的是 我们的一个就是YouTube对吧 那么当然了 他还支持其他的一个平台 那么我们还可以连接到 比如说我们的哔哩哔哩 也是可以的 我们点击哔哩哔哩 好我们试一下哔哩哔哩的英文 really about focus keeping what's important and letting go of what's not 其实就是关于专注 把重要的东西留下来 把不重要的放手 没错而且我觉得当我们拥有的更少时 我们能更懂得珍惜 我喜欢这个 拥有更少 生活更多 这就是今天的主题 所以确实如此 大家可以看到 是不是它完整的支持我们的 一个任何的浏览器上的网站 不一定呢非要用YouTube和我们哔哩哔哩 那么其实所有的音频网站呢 它都是支持的 并且呢它能保证保持完整 的一个持续的体验 这个是非常非常不错的 而且呢我们每个人呢 每个用户呢 都可以去免费的去 使用它 那么其实这样来之后呢 我们的这些视频啊啊 要不要字幕都无所谓了 因为我们有了它之后呢 我们就是实时的去翻译 而且呢能保证它的语气用词 大概呢是非常非常的 体验下来还是非常不错的 那么当然呢 目前它这个就是浏览器 它这个测试下来呢 它有一定的 延迟有一定 大概有延迟个五六秒 十秒左右的一个语音的延迟 那么这样来呢 可能会有一点点的一个 在看电影的时候可能会有一点点影响 那我感觉呢 其他的 大致的影响呢 应该不是很大 但这样来呢 就帮助我们起码来说 在一个不熟悉的语言上呢 我们可以通过它快速的去了解学习 还是非常非常不错的 好今天呢 就给大家分享一个Google的Gemini 3. 5transcribe的一个新兴的语言模型 到这里如果大家有什么问题呢 欢迎在视频下方给我留言谢谢
本次執行流程與問題處理
下達指令
預期流程
- 採用來源字幕（略過語音辨識）
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：3.6 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：32.8 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：0.9 秒
關係：依序執行
結果：完成
4. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：0.9 秒
關係：依序執行
結果：完成
5. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：1.0 秒
關係：依序執行
結果：完成
6. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：1.0 秒
關係：依序執行
結果：完成
7. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：1.0 秒
關係：依序執行
結果：完成
8. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：88.8 秒
關係：依序執行
結果：完成
9. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：0.9 秒
關係：依序執行
結果：完成
10. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：1.0 秒
關係：依序執行
結果：完成
手動來源字幕
自動來源字幕
Whisper 字幕
- 尚未產生
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
目前待解決問題與初步改善方向
- ⚠️ 全文快速校讀：已套用暫定修正，請確認
segment=184 已先套用暫定修正：还有数百万桶的石油美国说 → 还有数百万桶的石油 美国说；segment=186 已先套用暫定修正：这场战争显然是一系列巩固 → 这场战争显然是一系列巩固了伊朗对国家控制的行动；segment=189 已先套用暫定修正：辩论的是约翰米尔斯 → 辩论的是约翰米尔斯海默教授；segment=193 已先套用暫定修正：曾在陆军服役区担任上尉 → 曾在陆军服役 担任上尉
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。
- 音訊下載不穩定，需更新 cookies / PO token 後重試精進模式。