工作清單

【話題沸騰】Google本気の文字起こし「Gemini3.5 Transcribe」は何が凄いのか徹底解説

逐字稿文字預覽

皆さん、こんにちは。
自分らしい生き方で元気で幸せな経用をするあり方社長を5万人にする傾斜コンサルタント目から鱗の長嶋です。社長
のためのAI活用実践講座シリーズですが、本日のテーマはこちらになります。
ジェミ3.5トランスクライブ徹底検証Google本気の次世代知能付き持ちこしと題してお届けをしたいと考えています。ま、皆さん、あの
Googleから突如リースされた最新の文字起こしモデルジェニー3.5トランスクライブをご存知でしょうか?これがですね、本当にめちゃくちゃワクワクするような進化を遂げているということで話題なんですね。
で、GoogleAISTで誰でもすぐに試せるようにはなってるんですが、単に音声を文字にするということだけではなくて、インテリジェンス機能、スマート機能というものによって飯みとかフィラー音を
綺麗に取り除いて専門用語をですね、ビシッと整えて文字起こしをしてくれるというとんでもない優れ物になっています。
ま、今回はこの新機能の公式発表の狙いとか実際の制度検証を進めていきたいという風に思ってます。ま、将来的なね、同向も
含めて考えていきたいなという風に思いますので、是非最後までご覧ください。
さて、まずは速報として何が起きたのかを整理しておきましょう。26年8月27日
、Googleは公式ブログ及び開発者向けポータルにてジェミニファミリーの最新モデルであるジェミ3.5トランスクライブを電撃発表しました。
これまでもジェミは音声の聞き取りは得意でしたが、今回は音声文字起こしに特化した専用モデルとして登場しました。現在
GoogleAISTO上でパブリックプレビューとして解放されていて、ブラウザー上ですぐにマイクを使ったリアルタイムの文字起こしとか録音ファイルの文字起こしをテストできるようになっています。AIスタジオって
エンジニア向けでしょうと思われるような社長もいらっしゃるかもしれませんが、実は画面上でボタンをポチッと押すだけでマイクから喋ってテストまでできます。ま
、非常に直感的なUIになっていますので、まずはこの新機能が手元に届いたというこのドキドキを是非一緒に味わいたいという風に思います。ではGoogleは
なぜ今このトランスライブという音声認識特化のモデルを代々的にリリースしたのか、その狙いと背景を一緒に見ていきたいと思いますが、従来の文字起こしツールっていうのは例えばWISAとかGoogle
の従来のスピーチtoテキストも精度は高かったんですが、本質的には聞こえた音をそのままテキストに変換するという機能でした。そのためAとかあのといった
フィラ音言い間違い同音意義後の5変換がそのまま残ってしまうということが起こり、ま、例えば技似録にしていくには後から人が手直しをするか他のAIに投げて成唱させるという必要がありました。これに
対してGoogleが目指したのはマルチモーダルAIであるジェミの文脈理解力を音声認識の瞬間に直接融合させるということなんですね。つまり会話全体の
文脈を理解しながらリアルタイムに意味の通る綺麗な文章へと聖書して出力していく。これこそがGoogleの狙いであり
持ち起こしの完全なパラダイムシフトになるというポイントなんですね。
このジェミニ3.5トランスクライブの最大の特徴それがインテリジェンス機能になります。具体的に何が従来の文字起こし
と違うのかポイントは大きく3つあります。1つ目は飯みフィラオンの自動除去に
なります。あ、AOといった無駄な発を
AIが文脈を判断して自動的にカットしてくれます。2つ目がスマートな書式整形に
なります。不当点の適切な配置はもちろん
数字、単位、英語の略勝、大文字、小文字などを文脈に合わせて最も読みやすい形に自動整形するという機能が備わっています。3つ目が文脈水論による専門用語の正確
な変換になります。前後の文脈から業界
用語や専門用語を推測して同音意義後のご変換を防ぐということができるようになっています。ま、後から別のAIで要約を
し直さなくても文字起こしされた瞬間にそのまま疑似力やメモとして使えるクオリティになる。これが
インテリジェンスモードの正体になります。さてここでGoogle公式
ドキュメントで明記されている正確なスペック時間制限などについて抑えておきましょう。ま、ここを誤解してると実務で
失敗してしまいますので数字を正確にお伝えしたいと思います。まず1つ目、
リアルタイム文字起こしになりますが、連続ストリーミングセッションの持続時間というのはワンセッションあたり最大10分までと現状はなっています。つまり何
時間もの会議をリアルタイムで垂れ流しするという仕様には今はなっていなくて短い発や要所の音声入力がポイントになっています。2つ目、録音ファイルの文字
起こしになりますが、こちらは通常のリクエストで最大1時間までの音声ファイルに対応してるということです。
ただし分離や単語レベルのタイムスタンプを有効にした場合は最大30分までに制限されます。ま、誰が喋ってるのかっていう
のと、いつどれぐらいの時間喋ってるかみたいなことを正確に割り出す場合には最大30分までになります。そして3つ目
、和車分離になりますが、使用上は最大8人まで対応するということですが、ただし公式ドキュメントには3名以上の和射式別は実験的だという風に明記されているので、ま、確実に高制度で分けられるのは現状
3名までとなっているということです。ま
、このリアルタイム10分、ファイル1時間、分離30分、3名までという数字を頭に入れといていただければと思います。
さて、それでは実際の画面を見ながら検証していきたいという風に思いますので、まずはGoogleAISTに行きましょう。今お見せしてるのが
GoogleAISTOで、ここのモデルセレクションという風になっていますが、ここをですね、オーディオという風に変えていただくと、こちらにともうですね、ジェミニ3.5トランスクライブという
ものが出てきています。で、このライブと
いうものが実際に喋りながらですね、え、音声文字起こしをしてくれるモデルになりますので、こちらを選んでいただくと、もうこれで中に入れるという状態になります。で、TriライザラブAPIという
風になっていて、ま、ここでトークという風になってるので、え、このままですね、トークを押すと始まります。ここにですね
、スマートリプションというものがありますね。これがスマート
機能のオンとオフになります。で、一旦
ですね、オフにした状態で喋ってみましょう。これ話できてますかね?あ、
できてますね。はい。え、今ここでですね
、えっと、デモ的に行っているのが、え、今回のその最新の音声認識であるGoogleの、え、トランスクライブの、え、デモになっています。
はい。で、これは今インテリ、え、
スマートモードになっていない状態なので、えー、こんな感じになっているというところですね。
はい。じゃあ、スマートモードを入れてみ
ましょう。ちなみにですが、ここに
プライマリーランエッジということで、ここで言語設定もできます。ま、中心に
使うのが日本語であれば、日本語を設定していただければ、ま、これでですね、日本語が中心になります。で、スマートモード
をオンにしてもう1度テストしていきたいと思います。はい。え、こちらで
、あの、今、ああ、今、え、デモをやっていますが、え、こんな感じで、え、うまく反映されているでしょうか?
あ、出ましたね。で、今こうやって、えっ
と、ちょっと間を開けたりすると、え、このように、え、正確な文字が反映されるという形になっていきます。フィラオンと
か、ま、そういったものが無駄なものが、えっと、除去されましたよね。
結構いいですよね。ま、優秀だなと思い
ます。先ほどの、えっと、スマートモード
をオンフにしていた時とオンにしていた時では、ま、明らかにその文章の制度が上がってますよね。
じゃあここでですね、言い直しをしてみたいと思います。えっと、そういう意味で
言うと次回の打ち合わせは3名でお伺いをしたい。あ、いやいや、えっとちょっと
待ってくださいね。えっと、3名ではなく
て、え、4名、え、てお伺いする予定にしています。
見ましたかね。今この形で、え、言い直し
をした場合にどちらが正しいのかということを文脈上判断して、え、正しいものを適用するという形になっています。なので
文字起こしとしての精度がめちゃくちゃ高いだけではなくて、文字を正確に起こすのではなくて文脈を理解して文脈を理解した上で文字起こしをするので、ま、疑似力とかにはめちゃくちゃ最適だということ
ですね。で、人は、ま、言い直しっていう
のを普通に、え、起こってしまうので、ま、こういった意味で考えるとやっぱりこの言い直しとかフィラ音とかこういったものをしっかりと除去して、え、正しい文脈で、え、表現してくれるっていうのは
めちゃくちゃありがたいという風になると思います。
はい。めちゃくちゃいいですよね。
めっちゃいいなと思います。で、これ今見
ていただいたのがライブの音声のデモになりますね。で、次にですね、モードを
切り替えて、今度は、えっと、ライブではないバージョンですね。はい。を見て
いただきたいなと思います。録音をの音声
をですね、アップロードしてその音声を読み込んで使ってみたいと思います。で、
Wordのタイムスタンプとスピーカーラベルがオッケーで、Wordのタイムスタンプとスピーカーラベルをつけてもらう形にして、今ここにデモ的に作った音声を入れました。じゃあこれをですね、
文字起こししていきます。
そうするとどうなるか。ま、チャット
GPTワークとですね、え、デモ的に5分ぐらい取ったトークを今文字起こししてもらっています。認識とタイムスタンプと
いうところを見たいなと思います。
はい、出ましたね。
あ、いいですね。ちゃんとワ者を認識して
ますね。ま、声がね、あの、確実に違うの
で認識ができるんですが、ま、それでもですね、ちゃんと正確にワ者を認識してますね。で、男性と女性みたいな分かり
やすいやつだとあれなんで、チャトGPTワークの声を男性にして見てるみたんですが、それでももう正確に読んでますね。
いや、すごいですよね、これ。本当に。
えっと、疑似6としては完璧ですよね。で
、はい。で、今、あの、これ使ってみて、
えっと、私も、え、分かったんですが、あ、このスマートランスプションとWordタイムスタンプスピーカーラベルは同時では使えないみたいですね。なのでこれ使い
たい場合はですね、どうするかって言うと分けないといけないってことですよね。だ
から多分スマート機能を入れて同じくですね、入れてで文字起こしをさせると認識やタイムスタンプは出ずに出てくるって感じですかね。はい、出ましたね。ただえっとね、
言い直しとかめっちゃしたんですよ。
あえて。で、それがですね、確実に大切な
部分だけに絞られて、さっきめちゃくちゃ長かったですけどね。ま、こんな感じで
絞られるんで、実態疑似録的に言うとこっちの方がいいと思いますね。さっきの
は正しく文字起こしができてるという状態でしたね。え、で、認識とタイムスタンプ
が正確に出るということなんですが、今度こっちのあのスマートランスプションの方を選ぶと、え、今このように、えっと、無駄なものが削ぎ落とされて、ただ内容だけがバシッと出てくると、ま、認識は出
ないですけどね。なので、ま、両方作っと
くっていうのは1つ手だと思いますね。
両方落としといて、で、技似録的には今のこのトランスクリプションを選んで、え、ワードタイムスタンプとスピーカーラベルの方は、え、ミーティングの、えっと、原票としての文字を起こしにしておく。ま
、この辺はありかなという風に思います。
ま、今こうやって見ていただいたようにこれぐらいのスピードで、そしてこの精度で上がってくるということで、もうめちゃくちゃいいですよね。めちゃくちゃ
いいと。それでですね、えっと、録音じゃ
なくて、え、その場で撮りたいという場合にはこのレコードオーディオというのがあって、認識やスピーカーラベルも貼ることができますので、ま、何かリアルタイムでミーティングをしたいという場合
には、ま、レコードオーデオでもオッケーなんですが、ま、それだったらライブでいいと思うので、この、ま、ただ認識とスピーカーラベルを貼りたかったらここでのレコードオーディオでいいんじゃないか
なと思います。ま、取ってからおそらく
これを落とし込んでいくということなんで、ライブでやる場合には先ほどの文字起こしの感じになっていくと認識とかまだできないとそんな感じかなという風には思います。ま、ただあれぐらいのリアル
タイムで出てくると本当にですね、例えばもう1回ね、南長の方とか含めてですね、え、文字で、え、対話をする時にはめちゃくちゃ楽になるんじゃないかなという風に思いますし、ま、これから、え、
シニアの世代も増えてくるので、ま、そういった方々に話すだけだと伝わらなかったら文字でも示すみたいなこともできるし、ま、あとは説明のね、え、何か説明の資料なんかもバーと取ったものをこう今の
、えっと、制度高い文字を越して出していくっていうやり方もあると思うので、ま、使い方、可能性っていうのはめちゃくちゃ広がるんじゃないかなという風には思っています。それでは、えっと、資料の方に
戻っていきましょう。さて、ま、ここで、
え、社長の皆様に絶対知っておいていただきたい3大注意点、機能制限を改めてまとめていきたいと思います。ま、
1つ目なんですが、ま、セキュリティと機密情報の扱いになります。Google
AIスタジオはあくまでも開発者向けの実験環境になりますので、無料枠ではデータが学習に利用される可能性があります。なので社外費の役員会議とかお客様
の個人情報が入った本番の録音データを投入するっていうのは絶対に避けてください。ま、デモ的に作ったもので、え
、どういう動きをするかっていう実験だけにしてください。2つ目が時間の長さの
上限です。リアルタイムはワンセッション
最大10分、録音ファイルは通常最大1時間、あかじめ30分ごとにファイルを分割して投入する運用が最も重要になるという風に思ってください。そして3つ目が
識別の限界です。分離は3名まで

來源：transcript.txt

本次執行流程與問題處理

  1. 下達指令

    指令：videonote https://youtu.be/RgKvD19tzIQ?si=clXOGe8HBGLICx5P --language ja --bilingual --learning --auto-source-subtitles

    來源：https://youtu.be/RgKvD19tzIQ?si=clXOGe8HBGLICx5P

    辨識語言：ja ｜ 參數：--language ja --bilingual --learning --auto-source-subtitles

  2. 預期流程

    依指令產生的處理順序：

    1. 自動字幕優先，Whisper 作為備援
    2. 來源選擇與品質檢查
    3. 文字校正與句子單元
    4. 雙語翻譯
    5. 雙語時間軸與學習單元
    6. 筆記與發布
    7. 公開網頁發布

  3. 1. 下載與語音辨識

    工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）

    處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿

    產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）

    耗時：15.6 秒

    關係：依序執行

    結果：完成

  4. 2. 全文快速校讀

    工具：videonote_rapid_transcript_review.py

    處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目

    產出：rapid_transcript_review_report.json（產出檔案）

    耗時：62.9 秒

    關係：依序執行

    結果：完成

  5. 3. 建立句子單元

    工具：videonote-build-sentence-units

    處理：將逐字稿切成帶時間軸的句子單元

    產出：sentence_units.json（句子單元）

    耗時：0.9 秒

    關係：依序執行

    結果：完成

  6. 4. 時間軸稽核

    工具：videonote_timeline_audit.py

    處理：檢查時間軸與音訊對齊

    產出：timeline_audit_report.json（時間軸稽核）

    耗時：1.0 秒

    關係：依序執行

    結果：完成

  7. 5. 品質檢查

    工具：videonote_controlled_quality.py（檢查時間軸與品質）

    處理：檢查語言、時間軸與可讀性品質

    產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）

    耗時：1.0 秒

    關係：依序執行

    結果：完成

  8. 6. 播放時間軸回填

    工具：videonote_rebase_display_timeline.py

    處理：將網頁播放時間軸回填為校正字幕時間

    產出：display_timeline_rebase_report.json（時間軸回填報告）

    耗時：0.1 秒

    關係：依序執行

    結果：完成

  9. 7. 雙語翻譯

    工具：vnt-sentence（句子雙語翻譯）

    處理：將句子翻譯成繁體中文

    產出：sentence_bilingual_transcript.json（雙語逐字稿）

    耗時：102.2 秒

    關係：依序執行

    結果：完成

  10. 8. 雙語時間軸與學習單元

    工具：videonote_learning_timeline_v2.py（建立雙語時間軸與學習單元）

    處理：建立雙語時間軸與學習內容

    產出：sentence_bilingual_timeline.html（雙語時間軸頁）、learning.json（學習單元）、japanese_learning.json（日文學習單元）

    耗時：109.7 秒

    關係：依序執行

    結果：完成

  11. 9. 生成筆記摘要

    工具：videonote-generate-note（生成筆記摘要）

    處理：生成筆記摘要與重點

    產出：note.md（筆記 Markdown）、note.html（筆記 HTML）

    耗時：125.9 秒

    關係：依序執行

    結果：完成

  12. 10. 建立筆記頁面

    工具：videonote-render-html（產生筆記 HTML）

    處理：產生可閱讀的筆記 HTML 頁面

    產出：note.html（筆記 HTML）

    耗時：1.0 秒

    關係：依序執行

    結果：完成

  13. 11. 發布公開頁面

    工具：videonote-publish（發布公開頁面）

    處理：發布到公開網站與每日列表

    產出：公開筆記網址、result.json（管線結果）

    耗時：0.1 秒

    關係：依序執行

    結果：完成

手動來源字幕

自動來源字幕

Whisper 字幕

Qwen 字幕

Parakeet 字幕

MOSS 字幕

聲學時間證據（PyAnnote / WhisperX）

校正前後逐字稿

目前待解決問題與初步改善方向

進一步精進字幕與筆記
使用 Workbench 上傳校正字幕、中文參考稿或回饋 SRT，重新產生雙語與學習單元。
開啟 Workbench