影片筆記：【今話題】新文字起こしAI「Gemini 3.5 Transcribe」革命だったので徹底解説します

<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->

⚠️ 全文快速校讀發現待確認修正

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

• 待修正：⚠️ 全文快速校讀發現未解決異常（segment=13 待確認：日文長漢字詞與片假名直接黏接，疑似公司/產品名稱 ASR 錯認；AI 未輸出可驗證的暫定修正版；segment=15 待確認：日文長漢字詞與片假名直接黏接，疑似公司/產品名稱 ASR 錯認；AI 未輸出可驗證的暫定修正版）
• 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）
• 待修正：逐字稿可先使用，但有待校正清單（segment=1 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=12 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

一句話總結

Google 推出專為音聲轉文字設計的 AI 模型「Gemini 3.5 Transcribe」，主打解決傳統 AI 在背景雜音、專業術語及「說錯後修正」時的識別弱點，並提供「Smart Transcription（智慧轉錄）」功能自動整理修正內容，以及高效的錄音檔案話者分離與時間戳記功能。

核心重點

1. Smart Transcription（智慧轉錄）功能：

• 針對「說錯後修正（言い直し）」的優化：開啟後，AI 會根據語境判斷說話者最終想表達的意思，自動忽略修正過程（如先說 A 後改口 B），直接生成修正後的正確句子。
• 關閉時則保留完整過程，包含填充詞與修正軌跡。
• 注意：此功能會丟失修正過程，不適合需要完整語境記錄的正式場合（如法律、醫療記錄）。

1. 高效處理與功能：

• 處理速度比前代模型（提及「Chap 3」）最快縮短 70%。
• 支援 85 種以上語言及方言。
• 可預先註冊最多 1000 件固有名詞（車名、商品名等），提升行業特定詞彙識別率。

1. 錄音檔案轉錄與話者分離：

• 支援即時轉錄與檔案上傳轉錄。
• 可自動識別不同說話者並標註時間戳記，大幅縮短會議記錄整理時間。
• 限制：若同時使用話者分離與時間戳記，錄音檔案最長僅支援 30 分鐘；話者分離穩定支援 3 人，超過 3 人至 8 人屬於實驗階段。

1. 使用限制與注意事項：

• Smart 功能與話者分離/時間戳記無法同時使用。
• 免費版可能將數據用於模型改進，處理敏感資訊建議使用付費版。
• 準確度指標：非串流模式平均 WER（詞錯誤率）為 2.6%；即時串流模式為 4.0%。

詳細大綱

一、 Gemini 3.5 Transcribe 概述

• 產品定位：Google 推出的專用於「音聲轉文字」的 AI 模型，非通用聊天 AI。
• 解決痛點：解決傳統文字轉錄 AI 對背景雜音、專業術語、方言及「說錯後修正」識別弱的問題。
• 語言支援：支援 85 種以上語言，包含方言及口音。
• 處理速度：相比前代模型（提及「Chap 3」），最終輸出速度最快縮短 70%。
• 自訂功能：可預先註冊最多 1000 件固有名詞，提升行業特定詞彙識別率。
• 支援環境：
• Android 的「Gード」（疑點：應指 Google 相關應用）。
• Mac 版「ジミニアアプリ」（疑點：應指 Gemini 應用）。
• Google AI Studio。
• 開發者功能：「アンチグラビティ」（疑點：需查證）。
• Chrome 瀏覽器支援預計近期推出。
• 目前處於「Public Preview」（公開預覽）階段，功能可能變動。

二、 核心功能演示：即時轉錄與 Smart Transcription

• 操作路徑：Google AI Studio -> 選擇模型 -> 選擇「Speech to Text」相關模型 -> 選擇「Gemini 3.5 Transcribe」。
• 設定步驟：

1. 選擇「Live」（即時）模式。
2. 設定主要語言為日語（Japanese）。
3. Smart Transcription 預設為關閉。

• Smart Transcription 功能解析：
• 開啟前：保留說話過程，包含「あー」、「えっと」等填充詞，以及說錯後修正的過程。
• 開啟後：僅輸出最終結論。AI 會根據語境判斷說話者「最終想表達的意思」，自動忽略修正過程，直接生成修正後的正確句子。
• 案例演示：
• 會議場景：先說「4人」，後修正為「5人」；先說「火曜日」，後修正為「木曜日」。開啟 Smart 後，僅顯示「5人」及「木曜日」。
• 接客場景：先點「Large 冰咖啡」，後修正為「Medium 冰咖啡」。開啟 Smart 後，僅顯示「Medium 冰咖啡 1 杯」。
• 使用建議：雖方便，但建議正式會議記錄仍需目視確認，特別是涉及人數、日期、金額等關鍵數字，以防微妙語氣或含義被過度簡化。

三、 核心功能演示：錄音檔案轉錄與話者分離

• 操作路徑：選擇「Recording Data」（錄音數據）模式。
• 功能設定：

1. 開啟「Speaker Labels」（話者標籤）。
2. 開啟「Word Timestamps」（詞彙時間戳記）。
3. 注意：此模式與 Smart Transcription 互斥，無法同時使用。

• 處理結果：
• 數分鐘音頻僅需數秒處理。
• 自動分配「Speaker 0」、「Speaker 1」等標籤。
• 標註每段話的開始與結束時間。
• 準確識別話者切換。
• 輸出文本可直接複製至「技力フォーモット」（疑點：需查證，可能指特定軟體或格式）作為草稿。
• 限制條件：
• 若同時使用話者分離與時間戳記，錄音檔案最長僅支援 30 分鐘（一般模式為 1 小時）。
• 話者分離穩定支援 3 人，超過 3 人至 8 人屬於實驗階段，建議小於 3 人的會議先進行測試。

四、 應用場景與注意事項

• 適用場景：
• 即時顯示：行政機關或店鋪窗口，將發言即時顯示於螢幕，協助聽障人士或避免聽誤。Smart 功能可確保螢幕僅顯示最終正確資訊（如修正後的地址）。
• 通話記錄：營業電話或客服支援通話，利用話者分離整理通話日誌，便於後續搜尋特定對話。
• 影片字幕：作為字幕製作的初稿基礎。
• 隱私與付費建議：
• 免費版可能將輸入的音頻數據用於 Google 模型改進。
• 處理顧客資訊或公司內部會議內容時，建議使用付費版。
• 評估指標：
• 準確度：非串流模式平均 WER（詞錯誤率）為 2.6%；即時串流模式為 4.0%。
• 價格：錄音數據約 1 分鐘 0.5 日圓左右。
• 適用性警告：
• Smart 功能會刪除修正過程，不適合需要完整語境記錄的正式場合（如法律、醫療記錄）。
• 若需完整記錄，應使用傳統模式或專用工具。
• 若需快速產出草稿，Gemini 3.5 Transcribe 具優勢。

五、 總結與資源獲取

• 三大重點回顧：

1. 具備自動修正說錯內容的 Smart Transcription 功能。
2. 錄音檔案可快速完成話者分離與時間戳記轉錄。
3. 因 Smart 功能會丟失修正過程，正式記錄需依用途選擇模式。

• 建議行動：上傳近期會議錄音至 Google AI Studio 進行測試。
• 額外資源：透過影片描述欄的「公式 LINE」（官方 LINE）發送「使いこなしの書」（使用指南），可免費獲取 4 份資料：

1. 凡人超越天才的 AI 活用術。
2. 超時短生成 AI x EXEL（疑點：應指 Excel）。
3. AI x 設計製作進程：設計 AI 強化書。
4. Codex 入門指南。

工具 / 模型 / 名詞整理

• Gemini 3.5 Transcribe：Google 推出的音聲轉文字 AI 模型。
• Gemini 3.5：提及的模型版本。
• Google AI Studio：操作介面平台。
• Google：開發公司。
• Android：支援作業系統。
• Mac：支援作業系統。
• Chrome：支援瀏覽器。
• Public Preview：產品發布階段。
• Chap 3：提及的前代模型對比（疑點：需查證具體模型名稱）。
• ノートブックレム / ジェメニノートブック：提及的相關工具名稱（疑點：聽寫可能為 NotebookLM 或 Gemini Notebook 相關產品）。
• Gード：Android 端應用名稱（疑點：需查證）。
• ジミニアアプリ：Mac 端應用名稱（疑點：應指 Gemini App）。
• アンチグラビティ：開發者功能名稱（疑點：需查證）。
• 技力フォーモット：輸出文本可貼上的軟體/格式（疑點：需查證）。
• 公式 LINE：獲取額外資源的管道。
• EXEL：提及的軟體（疑點：應指 Excel）。
• Codex：提及的相關工具/模型。

操作流程整理

即時轉錄流程

1. 進入 Google AI Studio。
2. 選擇模型，選擇「Speech to Text」相關模型。
3. 選擇「Gemini 3.5 Transcribe」。
4. 選擇「Live」（即時）模式。
5. 設定主要語言為日語（Japanese）。
6. 決定是否開啟「Smart Transcription」（預設關閉）。

• 若開啟：AI 將自動整理修正內容，僅顯示最終結論。
• 若關閉：保留完整說話過程與修正軌跡。

錄音檔案轉錄流程

1. 進入 Google AI Studio。
2. 選擇「Recording Data」（錄音數據）模式。
3. 上傳音頻檔案。
4. 開啟「Speaker Labels」（話者標籤）。
5. 開啟「Word Timestamps」（詞彙時間戳記）。

• *注意：此模式與 Smart Transcription 互斥，無法同時使用。*

1. 等待處理（數分鐘音頻僅需數秒）。
2. 複製輸出文本至目標軟體（如「技力フォーモット」）。

值得注意的限制或風險

1. 功能互斥：Smart Transcription 功能與話者分離/時間戳記無法同時使用。
2. 時長限制：若同時使用話者分離與時間戳記，錄音檔案最長僅支援 30 分鐘（一般模式為 1 小時）。
3. 話者分離人數：話者分離穩定支援 3 人，超過 3 人至 8 人屬於實驗階段，建議小於 3 人的會議先進行測試。
4. Smart 功能風險：Smart 功能會刪除修正過程，不適合需要完整語境記錄的正式場合（如法律、醫療記錄）。若需完整記錄，應使用傳統模式或專用工具。
5. 隱私問題：免費版可能將輸入的音頻數據用於 Google 模型改進。處理顧客資訊或公司內部會議內容時，建議使用付費版。
6. 準確度波動：非串流模式平均 WER（詞錯誤率）為 2.6%；即時串流模式為 4.0%。
7. 價格：錄音數據約 1 分鐘 0.5 日圓左右。

逐字稿辨識疑點

• Gード：原文為「AndroidのGード」，疑為聽寫錯誤，可能指 Google 某個特定應用或服務。
• ジミニアアプリ：原文為「Mac版のジミニアアプリ」，疑為「Gemini アプリ」的聽寫錯誤。
• アンチグラビティ：原文為「GoogleAISTやアンチグラビティ」といった開発者向け機能，疑為特定開發者功能名稱，需查證。
• Chap 3：原文為「全世代モデルのチャープ3と比べて」，疑為前代模型名稱，需查證。
• ノートブックレム / ジェメニノートブック：原文交替出現，疑為 NotebookLM 或 Gemini 相關筆記功能的聽寫。
• 技力フォーモット：原文為「技力フォーモットに貼り付ける」，疑為特定軟體名稱或格式，需查證。
• EXEL：原文為「AIかけるexel」，疑為「Excel」的聽寫錯誤。
• 疑似録 / 疑似力：全文多次出現「会議の疑似録」，疑為「會議記錄（議事録）」的聽寫錯誤。
• 車名 / 車分離 / 車内：文中多次將「固有名詞」或「話者分離」聽寫為「車名」或「車分離」，疑為聽寫錯誤。
• W。：原文為「平均W。」，疑為「WER」（Word Error Rate）的聽寫截斷。
• 不気：原文為「不気だというところ」，疑為「不適」的聽寫錯誤。
• 平洋：原文為「専用ツールとの平洋」，疑為「併用」的聽寫錯誤。
• 使いこなしの書：獲取資源時使用的關鍵字，疑為「使用指南」或類似名稱的日文直譯或特定稱呼。

可延伸追問

1. 「Gード」、「ジミニアアプリ」、「アンチグラビティ」、「技力フォーモット」等聽寫錯誤的正確名稱為何？
2. 「Chap 3」所指的前代模型具體名稱為何？
3. 「ノートブックレム / ジェメニノートブック」具體指代何種 Google 產品？
4. 付費版與免費版在數據隱私處理上的具體差異條款為何？
5. 超過 8 人的話者分離實驗階段具體表現如何？