工作清單

【革命】今話題の文字起こし「Gemini 3.5 Transcribe」は何が凄いのか徹底解説します

逐字稿文字預覽

皆さん、こんにちは。先生です。コ介先生
、普段こんなこともやってるので、気になる方はチェックしてみてください。今日
はですね、新たな化け物の生誕祭でございます。ジェミニのトランスクライブモデル
というのができましたと。何かと言うと、
端的に言えば文字起こしです。テキストの
文字起こしモデルなんですが、こいつね、やばい。めちゃくちゃやばいので、是非皆
さんご覧いただければと思います。
もう早速いきましょう。新たな化け物の
誕生ということでですね、今回ご紹介させていただければと思います。今回ご紹介
するのはこちらジェミ3.5トランスクライブというようなモデルになってきて、もうですね、Googleが産んだ市場最高制度を誇る音声認識モデルでございます。このモデル
はですね、もうインテリジェントな音声対話のために、インテリジェントな音声対話って何かなというようなことで、単なる文字起こしもちろんできるんですけど、[音楽]それだけではないっていう
のを後ほどですね、ご覧いただければと思います。で、普通のものだとですね、
背景雑音とか、あと専門用語が出てくると途端に違う言葉に変わっちゃったり、もしくは例えばジェミニって言われたら我々知ってるじゃないですか。Gniじゃ
ないですか。それカタカナでジェミって出
てきちゃったりだとかそういった部分にこう補正っていう部分で課題を抱える従来のモデルとはですね、もう[音楽]一戦を隠してます。後ほどお見せしますけど本当
にえぐいですよ。これね、私ね、想像以上
にテンション上がってます。もう昨日これ
が発表されてからずっとGoogleADでこういう風に言ったらどうかな。ああ
いう風に言ったらめちゃくちゃ試してる。
それぐらいこのジェミ3.5トランスクライブはAです。でも性格かつ
されたフォーマット済みテキストへ変換する技術を実現しております。で、実際
この記事ですね、こちらも是非皆さんお読みいただければと思います。もちろん
英語です。英語なので日本語にですね、私
のように翻訳していただいて、そうするとですね、色々この辺りにもリアルタイムストリーミングにも対応してるし、事前録音された音声の処理もできると。で、
それの参考となるですね、こう動画みたいなものがこう出てるわけですよ。で、この
人とかね、ちょっとだけ聞いてみましょうか。
としたらまさに今ここに映ってるのがこれジェミのトランスクライブモデルで構築されたアプリケーションだと思いますが、今からこの人喋りますと、どれぐらいリアルタイムに文字が起こされていくかちょっと見ていきましょう。
3.5Transcribeliveisourlatestmodelfortranscribingspeinrealtime.It'sparticularlygoodatmultilingual
transcription.SoIcanstartasentenceinEnglish分かりますか?
これ途中でしかも言語変わった時にそれで認識するわけですよ。デフォルトでもちろん日本語っていう風にやることもできるんですよ。
でもそうではなくて自動認識みたいな形にすればこんな形でどんどんどんどん別の言語でもできると。しかも今ほとんど遅延
なかったですよね。これぐらいで
トランスクライブできるわけです。で、
さらに先ほどスマートな文字起こしってつまり何かと言うとですね、これちょっとこちら見ていただくとこれがいわゆるそのままのモードとこれスマートリプションアクティブということで要はですね、
例えば話してる時に明日の会議は3人、あ、いや4人で伺いますって言ったりするじゃないですか。そしたら最終的に何人で
伺うんだって言ったら4人ですよね。そう
すると明日は4人で伺います。なるわけ
ですよ。それがいわゆるこのスマート
クリプションアクティブの状態ですね。
ちょっとこれデモみたいなものがあるので見ていきましょう。Iwanta
largewithoట్milktwopumpsofhallelnutandexrashandlightiactallymakethehanutintocaramelremovetheexrashandmakeit
regulariwanoiatallchangethesൈfromlgetomedium分かります?
これ左側は最初こう頼んでいたものに対してウェイトとノーアイスアイスはいらないよとでchangefromラージからミディアムにというような形で最初にラージと言っているわけですよ。
でも最終的に、あ、やっぱミディアムに変えてくださいって言ったら見てください。これIwanta
medミディアムアイスドラテもうあ、変わったんだったら最初のやつ変えちゃえばいいやというような形でスマートモジ起こしたらつまりこういうことなわけですね。これすごくないですか?これ
しかもリアルタイムにどんどんどんどんこう書き起こしながら最終的に綺麗なものにしてくれるっていう。これね、本当
えぐいですよ。で、ちょっとこれですね、
どんだけえぐいかというのを私なりにですね、つまりこういうことよねということでまとめましたので、1つ目、録音データに対するAPIということで、まずこちらのモデルは録音データとかですね。なので例えば
会議録とかのその文字起こしとかしたいんだったらもちろん使えますと。で、さらに
録音データに対してであれば認識ラベルがつきます。で、認識ラベル一応現在
サポート対象というかですね、最大3人までは間違いなく認識できますよと。それ
以上の場合は試験段階ですというような書かれ方をしています。先ほどで言うと
こちらですね、認識ができますよ。最大3
人の話者についてタイムスタンプが正確に識別できます。ただそれ以上の話者の場合
は試験段階なので、もちろん間違えることありますよと。出方としてスピーカー0、
スピーカー1[音楽]、スピーカー2というような書かれ方がするんですが、例えばスピーカー3、スピーカー4ってこう振られていった時にスピーカー5の人がもしかしたらそれスピーカー1の人が
話したことだよねってことがあるかもしれませんが、少なくとも試験段階ということは徐々に徐々にそのサポート範囲っていうのは広がっているんだろうなという風に感じますと。これは録音データに対する
ものが話者認識対応できるというような形ですね。そしてリアルタイム文字起こしに
対しても対応してて、それがライブAPIというような形になっています。で、この
2つ両方ともスマート起こしに対応してるというようなところでございます。これ
実際見てみますか?見ましょう皆さん。
GoogleAISTIOに行きます。そ
したらですね、GoogleAISTIOのトップページからご覧いただきましょうか。こちらGoogleAISTIOで
ございます。として私も昨日からずっと
このトランスクライブやってるので先にこうなっちゃいましたけどこちら押していただいておそらく最初ですね多分ジェミニ3.7フラッシュとかが選ばれているんじゃないかなと思いますがこのモデルのところをクリックいただいてそし
たらこのオーディオっていうところですねディオってところを押していただくとここにジェミニ3.5トランスブとこの下にジェミニ3.5トランスブライブというものがございますとそしたらまずジェミニ
3.5トランスクライブライからいきましょうか。で、これクリックして
いただくとこんな形になっていて、これ分かりますかね?ディテクトって書いて
あるので、ディテクトって名探偵コなんで私も覚えたんですけど、あれディテクティブボーイズじゃないですか。
なのでやっぱ探るってことなんでしょね。
ディテクトというのは。で、これを
ディテクトなのか、もしくはもう最初っから日本語ジャパニーズっていう風に指定するかですね。ま、ここは自由にして
いただいて結構かなと思います。そして
[音楽]これです。このスマート
ランスプtョン。これがまさにスマート
文字起こしなんですが、そしたらまずはスマートリプションやらない場合にしましょうか。やらない場合にどういう文章
が出てくるか。これ私がいつものように
喋りますね。いつものように喋っている
段階のをどんどんどんどん文字起こしされるのでそれご覧いただければと思います。このトークボタンを押していただいて
そうするとここに今コネクティングtoserverとなってます。で、その後
マイクがオンになって今まさに私話している段階でございます。そうすると
どんどんどんどんこれ今書かれてますよね。で、いわゆる私が喋っている言葉という
のがリアルタイムにどんどんどんどん文字起こしされていって、で、ちょっと一呼吸置くとこれが完全にこういった文字言いましたよねっていうような形で書かれます。で、今一呼置きました。そうすると
こんな形で文字というのがいわゆるセンテンスでしょうね。これでワン
センテンスですよねっていう形でこう出てくると。で、これがいわゆるスマート
ランスクリプションがない状態。一般的
な文字起こしに近いかなと思います。ただ
ああとかええーとかそういったものもですね、少しはいわゆるそういったフィラーとかもですね、結構省かれてるようには感じますね。こんな形です。結構な精度じゃ
ないですか?てかだ精度高いすよね。
分かります?例えばここで私がジェミニと
かって言ってもちゃんとジニはほら分かります?これちゃんとジェミニとして出て
くるわけですよ。とかあとは
ノートブックエム、あ、今だとジェミノートブックですかみたいな形を言ってもノートブックエレム今こうなりましたね。
これちょっとフィとどうなるか見てみましょうか。はい、分かります?
ノートブックエレムってちゃんとなりましたよ。こういったところがもうスマート
ランスクリプション入れてなくてもすでにスマート差がこう出てるわけですよね。では続いてこのスマート
ランスクリプションを試してみましょう。スマートトランスクリプションの場合は
先ほどのデモでもやってたようにいわゆる文脈がこうぶわーっとあった中でいやっぱさっきのはみたいなところを反映をしてくれる機能になっていますと。なので
例えばですよ、明日の打ち合わせですが、明日はですね、弊社から4人、いや、えっと、5人伺います。で、明日、え、土曜日ですけれども
、そこで打ち合わせた内容の技似録は、え、なるべく週明けのですね、火曜日、いや、うん、木曜日ぐらいまでもらっていいですかね。それまでには疑似6書かせて
いただければと思います。どうです皆さん
?分かります?まず明日の打ち合わせ、私
4人、いや、5人って言いましたと。そし
たらちゃんと5人伺いますと。で、そこで
打ち合わせた技似録は火用いや木曜までもらっていいですかって言ったらちゃんとそれが入ってくると。これがですねこの
スマートトランスクリプションなわけですよ。もう興奮でしょ?もう興奮ですよ。で
、さらにです。さらにそしたら今度は録音
されたモデルに対するトランスクライブもやってみましょうか。で、
トランスクライブの場合はここにスピーカーラベルズというものがオンにできるようになってます。いわゆる認識
ですね。で、ワードタイムスタンプという
ことで何分から何分の間にこういう音声が言われてるよねっていうタイムスタンプもしっかりと[音楽]入れてくれると。で、
もちろんその時にもフィラーとかを全部消したいなとかですね。あとは言い直し
てるところとかも全部綺麗にして欲しいなと思ったらスマートランスプションをオンにすればいいわけですね。今回使う音声は
過去にですね、私とX君がサンプル会議のですね、台本を読んだものになってまいります。ちょっとだけ聞きましょうか。
それでは帝国になりましたので新製品開発検討会議を始めます。本日は皆様から新製品のアイデアを出し合っていただき今後の開発につなげていきたいと考えています。活発な意見交換をお願いします。
はい。最近の市場調査の結果から消費者の健康思考はもます高まっていると言えるでしょう。特に
30代から40代のま、こんな形ですよ。明らかにワ車
1と車2がいるわけですよね。じゃあこれをこちらのトランスクライブモデルに聞かせていきましょう。そしたらですね、今の音声ファイルを渡します。
で、そうするともうこの速さで今4分ぐらいでしたけど、何トークンかってのがもう測られましたね。そして
トランスクライブという風にするとこれで今文字起こしかつスピーカーラベルがついてワードタイムスタンプがついて生成されるとできましたよ。そうするとこちら
ですね。それでは帝国になりましたので
新製品[音楽]開発検討会議を始めます。
本日は皆様からこれが02秒から016秒にスピーカー03が言いましたよねと。
そしてはい、最近の市場調査の結果からこれまさにX君が言ったやつですけどスピーカーラベルは完全に変わっていると。これはねすごいと思いますよ。この
モデルを使えばもう相当いい文字起こしもできますし、これですね、やっぱりこうリアルタイム文字起こし先ほどのライブAPIあっ[音楽]たじゃないですか、あれがすごく今後それこそ行政機関とかで
も役に立つだろうなと思っていて、最近ですね、弊社の方でもいろんな行政機関と仕事をさせていただく中で、例えば議会をこう見にくる市民[音楽]の方、区民の方、町民の方、様々な方いらっしゃると思い
ますが、その時に昇格の方にですね、障害がお持ちの方であればやは話していることかが文字起こしにリアルタイムに文字起こしされて表示されたらめちゃくちゃ便利じゃないですか?そう
いったところでももちろんこのモデルというのは使えますし、あとは窓口もそうですよね。窓口とかでやり取りをする時も
例えば窓口担当職員がお話をした時にそれが例えばディスプレイにどんどんどんどんこう文字が出ていったらですね、もちろんこちら側もお客様の方もあ、こういうこと言ってるんだなってことで分かるわけじゃ
ないですか。そういったやはり様々な言語
をツールとしてですね、このトランスクライブモデルというのは今後輝いていくんだろうなと思いますと。で、
めちゃくちゃ使いやすいっていうのがポイントですよね。スマート
ランスクリプションもついているので、それこそね、窓口の職員とかも言い直すことあると思うんですよ。その時に

來源：transcript.txt

本次執行流程與問題處理

  1. 下達指令

    指令：videonote https://www.youtube.com/watch?v=4DkcDdvLDIc --language ja --bilingual --learning --auto-source-subtitles

    來源：https://www.youtube.com/watch?v=4DkcDdvLDIc

    辨識語言：ja ｜ 參數：--language ja --bilingual --learning --auto-source-subtitles

  2. 預期流程

    依指令產生的處理順序：

    1. 自動字幕優先，Whisper 作為備援
    2. 來源選擇與品質檢查
    3. 文字校正與句子單元
    4. 雙語翻譯
    5. 雙語時間軸與學習單元
    6. 筆記與發布
    7. 公開網頁發布

  3. 1. 下載與語音辨識

    工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）

    處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿

    產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）

    耗時：3.6 秒

    關係：依序執行

    結果：完成

  4. 2. 全文快速校讀

    工具：videonote_rapid_transcript_review.py

    處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目

    產出：rapid_transcript_review_report.json（產出檔案）

    耗時：65.3 秒

    關係：依序執行

    結果：完成

  5. 3. 建立句子單元

    工具：videonote-build-sentence-units

    處理：將逐字稿切成帶時間軸的句子單元

    產出：sentence_units.json（句子單元）

    耗時：0.3 秒

    關係：依序執行

    結果：完成

  6. 4. 時間軸稽核

    工具：videonote_timeline_audit.py

    處理：檢查時間軸與音訊對齊

    產出：timeline_audit_report.json（時間軸稽核）

    耗時：0.4 秒

    關係：依序執行

    結果：完成

  7. 5. 品質檢查

    工具：videonote_controlled_quality.py（檢查時間軸與品質）

    處理：檢查語言、時間軸與可讀性品質

    產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）

    耗時：0.4 秒

    關係：依序執行

    結果：完成

  8. 6. 播放時間軸回填

    工具：videonote_rebase_display_timeline.py

    處理：將網頁播放時間軸回填為校正字幕時間

    產出：display_timeline_rebase_report.json（時間軸回填報告）

    耗時：0.4 秒

    關係：依序執行

    結果：完成

  9. 7. 雙語翻譯

    工具：vnt-sentence（句子雙語翻譯）

    處理：將句子翻譯成繁體中文

    產出：sentence_bilingual_transcript.json（雙語逐字稿）

    耗時：136.8 秒

    關係：依序執行

    結果：完成

  10. 8. 雙語時間軸與學習單元

    工具：videonote_learning_timeline_v2.py（建立雙語時間軸與學習單元）

    處理：建立雙語時間軸與學習內容

    產出：sentence_bilingual_timeline.html（雙語時間軸頁）、learning.json（學習單元）、japanese_learning.json（日文學習單元）

    耗時：109.4 秒

    關係：依序執行

    結果：完成

  11. 9. 生成筆記摘要

    工具：videonote-generate-note（生成筆記摘要）

    處理：生成筆記摘要與重點

    產出：note.md（筆記 Markdown）、note.html（筆記 HTML）

    耗時：93.2 秒

    關係：依序執行

    結果：完成

  12. 10. 建立筆記頁面

    工具：videonote-render-html（產生筆記 HTML）

    處理：產生可閱讀的筆記 HTML 頁面

    產出：note.html（筆記 HTML）

    耗時：0.3 秒

    關係：依序執行

    結果：完成

  13. 11. 發布公開頁面

    工具：videonote-publish（發布公開頁面）

    處理：發布到公開網站與每日列表

    產出：公開筆記網址、result.json（管線結果）

    耗時：0.4 秒

    關係：依序執行

    結果：完成

手動來源字幕

自動來源字幕

Whisper 字幕

Qwen 字幕

Parakeet 字幕

MOSS 字幕

聲學時間證據（PyAnnote / WhisperX）

校正前後逐字稿

目前待解決問題與初步改善方向

進一步精進字幕與筆記
使用 Workbench 上傳校正字幕、中文參考稿或回饋 SRT，重新產生雙語與學習單元。
開啟 Workbench