# 影片筆記:【今話題】新文字起こしAI「Gemini 3.5 Transcribe」革命だったので徹底解説します ## ⚠️ 全文快速校讀發現待確認修正 本筆記已完成可閱讀的逐字稿與時間跳轉;下列為待處理問題,建議播放原片確認。 - 待修正:⚠️ 全文快速校讀發現未解決異常(segment=13 待確認:日文長漢字詞與片假名直接黏接,疑似公司/產品名稱 ASR 錯認;AI 未輸出可驗證的暫定修正版;segment=15 待確認:日文長漢字詞與片假名直接黏接,疑似公司/產品名稱 ASR 錯認;AI 未輸出可驗證的暫定修正版) - 待修正:逐字稿全文快速校讀未完成(已保留自動字幕/原始逐字稿並繼續生成筆記。;未完成的全文速讀項目可在精進模式回聽確認。) - 待修正:逐字稿可先使用,但有待校正清單(segment=1 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語;segment=12 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語) ## 一句話總結 Google 推出專為音聲轉文字設計的 AI 模型「Gemini 3.5 Transcribe」,主打解決傳統 AI 在背景雜音、專業術語及「說錯後修正」時的識別弱點,並提供「Smart Transcription(智慧轉錄)」功能自動整理修正內容,以及高效的錄音檔案話者分離與時間戳記功能。 ## 核心重點 1. **Smart Transcription(智慧轉錄)功能**: * 針對「說錯後修正(言い直し)」的優化:開啟後,AI 會根據語境判斷說話者最終想表達的意思,自動忽略修正過程(如先說 A 後改口 B),直接生成修正後的正確句子。 * 關閉時則保留完整過程,包含填充詞與修正軌跡。 * **注意**:此功能會丟失修正過程,不適合需要完整語境記錄的正式場合(如法律、醫療記錄)。 2. **高效處理與功能**: * 處理速度比前代模型(提及「Chap 3」)最快縮短 70%。 * 支援 85 種以上語言及方言。 * 可預先註冊最多 1000 件固有名詞(車名、商品名等),提升行業特定詞彙識別率。 3. **錄音檔案轉錄與話者分離**: * 支援即時轉錄與檔案上傳轉錄。 * 可自動識別不同說話者並標註時間戳記,大幅縮短會議記錄整理時間。 * **限制**:若同時使用話者分離與時間戳記,錄音檔案最長僅支援 30 分鐘;話者分離穩定支援 3 人,超過 3 人至 8 人屬於實驗階段。 4. **使用限制與注意事項**: * Smart 功能與話者分離/時間戳記無法同時使用。 * 免費版可能將數據用於模型改進,處理敏感資訊建議使用付費版。 * 準確度指標:非串流模式平均 WER(詞錯誤率)為 2.6%;即時串流模式為 4.0%。 ## 詳細大綱 ### 一、 Gemini 3.5 Transcribe 概述 * **產品定位**:Google 推出的專用於「音聲轉文字」的 AI 模型,非通用聊天 AI。 * **解決痛點**:解決傳統文字轉錄 AI 對背景雜音、專業術語、方言及「說錯後修正」識別弱的問題。 * **語言支援**:支援 85 種以上語言,包含方言及口音。 * **處理速度**:相比前代模型(提及「Chap 3」),最終輸出速度最快縮短 70%。 * **自訂功能**:可預先註冊最多 1000 件固有名詞,提升行業特定詞彙識別率。 * **支援環境**: * Android 的「Gード」(疑點:應指 Google 相關應用)。 * Mac 版「ジミニアアプリ」(疑點:應指 Gemini 應用)。 * Google AI Studio。 * 開發者功能:「アンチグラビティ」(疑點:需查證)。 * Chrome 瀏覽器支援預計近期推出。 * 目前處於「Public Preview」(公開預覽)階段,功能可能變動。 ### 二、 核心功能演示:即時轉錄與 Smart Transcription * **操作路徑**:Google AI Studio -> 選擇模型 -> 選擇「Speech to Text」相關模型 -> 選擇「Gemini 3.5 Transcribe」。 * **設定步驟**: 1. 選擇「Live」(即時)模式。 2. 設定主要語言為日語(Japanese)。 3. **Smart Transcription 預設為關閉**。 * **Smart Transcription 功能解析**: * **開啟前**:保留說話過程,包含「あー」、「えっと」等填充詞,以及說錯後修正的過程。 * **開啟後**:僅輸出最終結論。AI 會根據語境判斷說話者「最終想表達的意思」,自動忽略修正過程,直接生成修正後的正確句子。 * **案例演示**: * 會議場景:先說「4人」,後修正為「5人」;先說「火曜日」,後修正為「木曜日」。開啟 Smart 後,僅顯示「5人」及「木曜日」。 * 接客場景:先點「Large 冰咖啡」,後修正為「Medium 冰咖啡」。開啟 Smart 後,僅顯示「Medium 冰咖啡 1 杯」。 * **使用建議**:雖方便,但建議正式會議記錄仍需目視確認,特別是涉及人數、日期、金額等關鍵數字,以防微妙語氣或含義被過度簡化。 ### 三、 核心功能演示:錄音檔案轉錄與話者分離 * **操作路徑**:選擇「Recording Data」(錄音數據)模式。 * **功能設定**: 1. 開啟「Speaker Labels」(話者標籤)。 2. 開啟「Word Timestamps」(詞彙時間戳記)。 3. **注意**:此模式與 Smart Transcription 互斥,無法同時使用。 * **處理結果**: * 數分鐘音頻僅需數秒處理。 * 自動分配「Speaker 0」、「Speaker 1」等標籤。 * 標註每段話的開始與結束時間。 * 準確識別話者切換。 * 輸出文本可直接複製至「技力フォーモット」(疑點:需查證,可能指特定軟體或格式)作為草稿。 * **限制條件**: * 若同時使用話者分離與時間戳記,錄音檔案最長僅支援 **30 分鐘**(一般模式為 1 小時)。 * 話者分離穩定支援 3 人,超過 3 人至 8 人屬於實驗階段,建議小於 3 人的會議先進行測試。 ### 四、 應用場景與注意事項 * **適用場景**: * **即時顯示**:行政機關或店鋪窗口,將發言即時顯示於螢幕,協助聽障人士或避免聽誤。Smart 功能可確保螢幕僅顯示最終正確資訊(如修正後的地址)。 * **通話記錄**:營業電話或客服支援通話,利用話者分離整理通話日誌,便於後續搜尋特定對話。 * **影片字幕**:作為字幕製作的初稿基礎。 * **隱私與付費建議**: * 免費版可能將輸入的音頻數據用於 Google 模型改進。 * 處理顧客資訊或公司內部會議內容時,建議使用**付費版**。 * **評估指標**: * **準確度**:非串流模式平均 WER(詞錯誤率)為 2.6%;即時串流模式為 4.0%。 * **價格**:錄音數據約 1 分鐘 0.5 日圓左右。 * **適用性警告**: * Smart 功能會刪除修正過程,不適合需要完整語境記錄的正式場合(如法律、醫療記錄)。 * 若需完整記錄,應使用傳統模式或專用工具。 * 若需快速產出草稿,Gemini 3.5 Transcribe 具優勢。 ### 五、 總結與資源獲取 * **三大重點回顧**: 1. 具備自動修正說錯內容的 Smart Transcription 功能。 2. 錄音檔案可快速完成話者分離與時間戳記轉錄。 3. 因 Smart 功能會丟失修正過程,正式記錄需依用途選擇模式。 * **建議行動**:上傳近期會議錄音至 Google AI Studio 進行測試。 * **額外資源**:透過影片描述欄的「公式 LINE」(官方 LINE)發送「使いこなしの書」(使用指南),可免費獲取 4 份資料: 1. 凡人超越天才的 AI 活用術。 2. 超時短生成 AI x EXEL(疑點:應指 Excel)。 3. AI x 設計製作進程:設計 AI 強化書。 4. Codex 入門指南。 ## 工具 / 模型 / 名詞整理 * **Gemini 3.5 Transcribe**:Google 推出的音聲轉文字 AI 模型。 * **Gemini 3.5**:提及的模型版本。 * **Google AI Studio**:操作介面平台。 * **Google**:開發公司。 * **Android**:支援作業系統。 * **Mac**:支援作業系統。 * **Chrome**:支援瀏覽器。 * **Public Preview**:產品發布階段。 * **Chap 3**:提及的前代模型對比(疑點:需查證具體模型名稱)。 * **ノートブックレム / ジェメニノートブック**:提及的相關工具名稱(疑點:聽寫可能為 NotebookLM 或 Gemini Notebook 相關產品)。 * **Gード**:Android 端應用名稱(疑點:需查證)。 * **ジミニアアプリ**:Mac 端應用名稱(疑點:應指 Gemini App)。 * **アンチグラビティ**:開發者功能名稱(疑點:需查證)。 * **技力フォーモット**:輸出文本可貼上的軟體/格式(疑點:需查證)。 * **公式 LINE**:獲取額外資源的管道。 * **EXEL**:提及的軟體(疑點:應指 Excel)。 * **Codex**:提及的相關工具/模型。 ## 操作流程整理 ### 即時轉錄流程 1. 進入 Google AI Studio。 2. 選擇模型,選擇「Speech to Text」相關模型。 3. 選擇「Gemini 3.5 Transcribe」。 4. 選擇「Live」(即時)模式。 5. 設定主要語言為日語(Japanese)。 6. 決定是否開啟「Smart Transcription」(預設關閉)。 * 若開啟:AI 將自動整理修正內容,僅顯示最終結論。 * 若關閉:保留完整說話過程與修正軌跡。 ### 錄音檔案轉錄流程 1. 進入 Google AI Studio。 2. 選擇「Recording Data」(錄音數據)模式。 3. 上傳音頻檔案。 4. 開啟「Speaker Labels」(話者標籤)。 5. 開啟「Word Timestamps」(詞彙時間戳記)。 * *注意:此模式與 Smart Transcription 互斥,無法同時使用。* 6. 等待處理(數分鐘音頻僅需數秒)。 7. 複製輸出文本至目標軟體(如「技力フォーモット」)。 ## 值得注意的限制或風險 1. **功能互斥**:Smart Transcription 功能與話者分離/時間戳記無法同時使用。 2. **時長限制**:若同時使用話者分離與時間戳記,錄音檔案最長僅支援 30 分鐘(一般模式為 1 小時)。 3. **話者分離人數**:話者分離穩定支援 3 人,超過 3 人至 8 人屬於實驗階段,建議小於 3 人的會議先進行測試。 4. **Smart 功能風險**:Smart 功能會刪除修正過程,不適合需要完整語境記錄的正式場合(如法律、醫療記錄)。若需完整記錄,應使用傳統模式或專用工具。 5. **隱私問題**:免費版可能將輸入的音頻數據用於 Google 模型改進。處理顧客資訊或公司內部會議內容時,建議使用付費版。 6. **準確度波動**:非串流模式平均 WER(詞錯誤率)為 2.6%;即時串流模式為 4.0%。 7. **價格**:錄音數據約 1 分鐘 0.5 日圓左右。 ## 逐字稿辨識疑點 * **Gード**:原文為「AndroidのGード」,疑為聽寫錯誤,可能指 Google 某個特定應用或服務。 * **ジミニアアプリ**:原文為「Mac版のジミニアアプリ」,疑為「Gemini アプリ」的聽寫錯誤。 * **アンチグラビティ**:原文為「GoogleAISTやアンチグラビティ」といった開発者向け機能,疑為特定開發者功能名稱,需查證。 * **Chap 3**:原文為「全世代モデルのチャープ3と比べて」,疑為前代模型名稱,需查證。 * **ノートブックレム / ジェメニノートブック**:原文交替出現,疑為 NotebookLM 或 Gemini 相關筆記功能的聽寫。 * **技力フォーモット**:原文為「技力フォーモットに貼り付ける」,疑為特定軟體名稱或格式,需查證。 * **EXEL**:原文為「AIかけるexel」,疑為「Excel」的聽寫錯誤。 * **疑似録 / 疑似力**:全文多次出現「会議の疑似録」,疑為「會議記錄(議事録)」的聽寫錯誤。 * **車名 / 車分離 / 車内**:文中多次將「固有名詞」或「話者分離」聽寫為「車名」或「車分離」,疑為聽寫錯誤。 * **W。**:原文為「平均W。」,疑為「WER」(Word Error Rate)的聽寫截斷。 * **不気**:原文為「不気だというところ」,疑為「不適」的聽寫錯誤。 * **平洋**:原文為「専用ツールとの平洋」,疑為「併用」的聽寫錯誤。 * **使いこなしの書**:獲取資源時使用的關鍵字,疑為「使用指南」或類似名稱的日文直譯或特定稱呼。 ## 可延伸追問 1. 「Gード」、「ジミニアアプリ」、「アンチグラビティ」、「技力フォーモット」等聽寫錯誤的正確名稱為何? 2. 「Chap 3」所指的前代模型具體名稱為何? 3. 「ノートブックレム / ジェメニノートブック」具體指代何種 Google 產品? 4. 付費版與免費版在數據隱私處理上的具體差異條款為何? 5. 超過 8 人的話者分離實驗階段具體表現如何?