影片筆記：免费效果炸裂！Gemini 3.5 Transcribe 实时翻译神器 | 支持85种语言自动识别

<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->

⚠️ 全文快速校讀發現待確認修正

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

• 待修正：⚠️ 全文快速校讀：已套用暫定修正，請確認（segment=184 已先套用暫定修正：还有数百万桶的石油美国说 → 还有数百万桶的石油 美国说；segment=186 已先套用暫定修正：这场战争显然是一系列巩固 → 这场战争显然是一系列巩固了伊朗对国家控制的行动）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

一句話總結

影片介紹了 Google 發布的新一代語音轉文字模型 Gemini 3.5 Transcribe，強調其具備智慧語意理解、自動去除填充音、支援 85 種語言自動偵測及多發言者區分等功能。透過 Google AI Studio 的「Share Audio from Tab」功能，用戶可免費實時將瀏覽器標籤頁（如 YouTube、Bilibili）的音訊轉錄並翻譯為目標語言，雖有約 5-10 秒延遲，但對學習不熟悉語言或無字幕影片具高度實用價值。

核心重點

1. 模型定位轉變：從傳統追求「逐字精確度」轉向「智慧理解」，旨在去除多餘詞彙、整理格式，實現「直接可用」無需額外修飾。
2. 四大核心功能：

• 多語言支援：支援超過 85 種語言，自動偵測語言、區域口音與方言，無需事先指定原始語言。
• 發言者區分：自動識別發言者，目前最多支援 8 位發言者標記（註：3 位以上目前為實驗性功能）。
• 智慧錄製（Smart Transcription）：具備語意理解層級，能自動判斷並修正口誤（例如將「禮拜二」修正為後句的「禮拜三」），並清除填充音（如「哦」）及自然停頓，不將其誤判為句號。
• 瀏覽器音訊分享功能：可從瀏覽器標籤頁實時讀取音訊進行轉錄與翻譯。

1. 操作實戰（Google AI Studio）：

• 進入 Google AI Studio 官網，點擊右上角選單選擇 Audio，切換模型至 Gemini 3.5 Live Translation Preview。
• Talk 模式：即時錄音，適合會議整理，可設定目標語言。
• Share Audio from Tab 模式：讀取瀏覽器其他標籤頁音訊，自動降低原標籤頁音量並提高 AI Studio 音量以確保清晰度，實時同步聽取並轉錄/翻譯。

1. 實測結果：

• 支援中英、中日、英日等多語言轉換。
• 能保留語氣與用詞風格，自動識別男女聲線。
• 實測涵蓋 YouTube 新聞、日語影片及 Bilibili 網站，證明其跨平台支援能力。

1. 限制與風險：

• 存在約 5-10 秒的語音延遲，可能影響需要即時同步的場景（如觀看電影）。

詳細大綱

一、 Gemini 3.5 Transcribe 的核心優勢

• 功能演進：
• 傳統語音轉文字追求逐字精確度。
• 新一代模型強調去除多餘詞彙、整理格式及智慧理解。
• 目標是實現「直接可用」，無需後續修飾。
• 四大核心功能詳述：

1. 多語言支援：

• 支援超過 85 種語言。
• 自動偵測語言、區域口音與方言。
• 用戶無需事先指定原始語言，只需設定目標語言。

1. 發言者區分：

• 自動識別並標記發言者。
• 目前最多支援 8 位發言者。
• 註：3 位以上發言者標記目前為實驗性功能。

1. 智慧錄製（Smart Transcription）：

• 區別於傳統逐字轉錄，具備語意理解層級。
• 口誤修正：自動判斷並修正口誤（影片舉例：將口誤的「禮拜二」修正為後句提到的「禮拜三」）。
• 填充音處理：清除填充音（如「哦」）及自然停頓，避免將其誤判為句號。

1. 瀏覽器音訊分享功能：

• 允許用戶將瀏覽器中任何標籤頁（如 YouTube、Bilibili）的音訊實時轉換並翻譯。

二、 Google AI Studio 操作實戰

• 進入方式：

1. 訪問 Google AI Studio 官網。
2. 點擊右上角選單，選擇 Audio。
3. 切換模型至 Gemini 3.5 Live Translation Preview。

• 兩種操作模式：

1. Talk（即時錄音）：

• 直接錄製當前麥克風音訊。
• 適合會議整理、筆記記錄。
• 可設定目標語言（預設英文，支援 85 種語言）。
• 實測顯示能自動去除多餘提示詞，保留主要資訊。

1. Share Audio from Tab（從標籤頁分享音訊）：

• 讀取瀏覽器其他標籤頁的音訊。
• 自動降低原標籤頁音量，提高 AI Studio 音量以確保清晰度。
• 實時同步聽取並轉錄/翻譯。

三、 多語言與跨平台實測結果

• 語言支援測試：
• 英語轉中文：實測 YouTube 新聞，自動識別並翻譯，保留主持人語氣與用詞。
• 日語轉中文：實測 YouTube 日語影片，完整識別日語並翻譯，自動區分男女發音者，保持語氣一致性。
• 英語轉中文（Bilibili）：實測 Bilibili 網站，支援非 YouTube 平台，完整支持瀏覽器上任何網站的音訊轉錄。
• 自動語言偵測機制：
• 模型自動識別原始語言。
• 用戶只需設定目標語言（Target Language），無需選擇原始語言。

四、 使用體驗與限制

• 優點：
• 免費供所有用戶使用。
• 解決無字幕影片的觀看困難。
• 能快速了解不熟悉語言的內容，有助於學習。
• 能保持語氣、用詞及語意的一致性。
• 缺點/限制：
• 延遲問題：測試中發現約有 5-10 秒的語音延遲。
• 觀看影響：延遲可能對觀看電影等需要即時同步的場景造成影響。

工具 / 模型 / 名詞整理

• Gemini 3.5 Transcribe：谷歌發布的新世代語音轉文字模型。
• Gemini 3.5 Live Translation Preview：Google AI Studio 中使用的特定模型名稱。
• Google AI Studio：使用上述模型的官方網頁平台。
• Talk：AI Studio 中的即時錄音模式名稱。
• Share Audio from Tab：AI Studio 中從瀏覽器標籤頁分享音訊的功能名稱。
• Smart Transcription（智慧錄製）：具備語意理解層級的轉錄功能，可修正口誤與去除填充音。
• YouTube：實測使用的影片平台。
• Bilibili：實測使用的影片平台。
• 芝加哥大學 (University of Chicago)：實測內容中提及的機構。
• 西點軍校 (West Point)：實測內容中提及的機構。

操作流程整理

1. 準備階段：

• 打開瀏覽器，進入 Google AI Studio 官網。
• 確保目標影片（如 YouTube 或 Bilibili）已在瀏覽器其他標籤頁播放。

1. 設定模型：

• 在 Google AI Studio 介面中，點擊右上角選單。
• 選擇 Audio 選項。
• 將模型切換為 Gemini 3.5 Live Translation Preview。

1. 選擇操作模式：

• 若需錄製麥克風：選擇 Talk 模式，設定目標語言（預設英文，可選其他 85 種語言），開始錄音。
• 若需翻譯網頁音訊：選擇 Share Audio from Tab 模式。

1. 執行轉錄/翻譯：

• 系統會自動偵測瀏覽器標籤頁音訊。
• 系統自動降低原標籤頁音量，提高 AI Studio 音量。
• 開始實時同步聽取、轉錄並翻譯為目標語言。

1. 結果確認：

• 查看轉錄結果，確認是否自動區分發言者、修正口誤及去除填充音。
• 注意約 5-10 秒的延遲情況。

值得注意的限制或風險

• 延遲問題：實測顯示存在約 5-10 秒的語音延遲，這可能影響需要即時同步的觀看體驗（例如觀看電影時，翻譯會落後於畫面）。
• 實驗性功能限制：發言者區分功能中，3 位以上發言者的標記目前僅為實驗性功能，穩定性或準確度可能未達最高標準。
• 免費開放狀態：目前該工具對用戶免費開放，但需留意未來是否會改變收費策略（影片僅提及目前免費，未說明長期政策）。

逐字稿辨識疑點

• Gemini 3.5 Transcribe：逐字稿中多次提及此名稱。目前 Gemini 系列常見版本為 1.5 或 2.0，3.5 版本需查證是否為最新發布或口誤。
• Live Translation Preview：逐字稿中提及此模型名稱，需確認該名稱是否準確存在於 Google AI Studio 介面中。
• 85 種語言：逐字稿提及支援超過 85 種語言，需查證該數字是否準確。
• 最多 8 位發言者：逐字稿提及最多支援 8 位，需查證該限制是否準確。
• 3 位以上為實驗性功能：逐字稿提及 3 位以上發言者標記目前為實驗性功能，需查證官方說明。
• 約翰米爾斯海默教授 (John Mearsheimer)：逐字稿中提及的名字，需確認是否為正確的人名拼寫（通常譯為約翰·米爾斯海默）。
• 常規威懾和核威懾 (Conventional Deterrence and Nuclear Deterrence)：逐字稿中提及的著作名稱，需確認是否為準確的書名翻譯。
• 大雨特別警報：逐字稿中日語轉錄內容，需確認是否為準確的日語新聞用語翻譯。

可延伸追問

• Gemini 3.5 Transcribe 的「智慧錄製」功能在處理極快語速或重度口音時的準確率如何？
• 「Share Audio from Tab」功能是否支援所有類型的瀏覽器標籤頁（例如受 DRM 保護的串流平台）？
• 85 種語言的支援範圍是否包含所有小眾語言或方言？
• 對於 3 位以上發言者的實驗性功能，Google 預計何時將其轉為正式功能？
• 5-10 秒的延遲是否可透過設定調整或技術更新來縮短？