工作清單

【今話題】新文字起こしAI「Gemini 3.5 Transcribe」革命だったので徹底解説します

逐字稿文字預覽

今回伝えたいことは3つです。1個目だけ
でも今日からあなたの会議の疑似録が変わるレベルではありますが、最後まで是非見ていただきたいんですけれども、まず会議の疑似力を作っといて、あ、やっぱりと言い直したところまでそのまま文字になってしまい、後で自分で直す、
あの、地味に面倒の作業、今日で多分終わります。Googleから言い直しを
勝手に正しい内容だけに直してくれる新しい文字起こしAI、ジェミニ3.5トランスクライブというものが登場いたしました。これ最初にデモで見た時普通に
ちょっとびっくりしすぎて、えみたいな2度見ねしてしまったんですけども、今回はこのモデルの3つの新機能をですね、僕は実際の画面動かしながらお見せしていきたいと思います。それでは早速行き
ましょう。言い直しをそのまま疑似録にさ
れて後で直すのが地味に面倒といった経験ある方多いと思います。ジェミニ3.5
トランスクライブはGoogleが出してきた音声を文字にすることだけに特化したAIモデルです。従来の文字起こしAIは
背景の雑音とか専門用語、あと今言った言い直しに結構弱くてですね、ジェミニと言ってもジェミとかみたいなカタカナに化けていたりとかしていたんですね。でも
このモデルはこの3つの弱点をまとめて潰してきた専用モデルです。重要なのは
これが普段のチャットAIの炎上ではなく音声を聞き取ることだけに鍛えられたモデルだというところですね。85以上の
言語に対応していて方言や鉛りにもある程度対応します。使い方は大きく2つあり
、録音済みの音声ファイルを渡すトランスクライブと話しながらリアルタイムに文字にしていくトランスクライブ。こちらの2つがあります。どちら
もこれから見せるスマートな整形機能に対応しています。処理速度も全世代モデル
のチャープ3と比べて最終的な出力までの速度が最大70%短縮されたとGoogleは説明しています。あと車名
や商品名みたいな固有名詞をあかじめ最大1000件まで登録できるカスタム合意機能も用意されていて業界特有の言葉が多い会議でも認識制度を底上げできます。
使える環境は今のところAndroidのGード、Mac版のジミニアアプリ、それとGoogleAISTやアンチグラビティといった開発者向け機能で、Chromeへの対応も近予定となっております。ただ現状はパブリック
プレビュー段階なので今後使用が変わる可能性はあるという前提で見ていきます。
それではですね、実際にこのJemini3.5トランスブですね、使っていきたいと思います。今回はGoogleAIST
から行っていきますので、まずこちら開いていただいて、このGoogleAISTというサイトをクリックしてください。
はい。そうしましたらまずこのような画面
になるかなと思います。私はちょっと
すでに使っているのもあるんですけども、まず皆さんこのモデルというところからこのスピーチアミュージックというところを押してください。そうしましたらこんな
感じでオーディオに関連するモデルですねが出てきます。そうするとこのジミニ
3.5とジムニ3.5トランスブライブというこの2種類が並んでいます。これ全車
が録音データ用で校舎がリアルタイム用ですね。今回はまずこちらのライブの方を
選んでいただいてそうしましたらこの右上を押していただくとここにプライマリーランゲージというものがありますのでここジャパニーズに変更していきます。はい。
こちらですね。そしたらこの1番下にあり
ますこのスマートtranscriプtionというトグルがあるんですけどもこれはオフのままでお願いします。これで準備オッケーですので
早速ここのトークというところから話しかけていきたいと思います。最近
あのジェニを使った文字起こしがすごく進化してるらしくて例えばノートブックレムあ今ジェメニノートブックていう名前でしたね。あの
そういったツールとの連携も今後期待されてるんですよ。こんな感じでございます。
出力結果を見てみるとピラーつまりあーとかエトとかアノとかイアとかこういったのは、ま、多少省かれてはいますけれども、基本的には話した内容がそのまんま起こされているような形ですね。一方でジェミニ
とかノートブックLMとかジェミニノートブックとかってこういう名刺はオフの状態でもかなり正確に広がりました。話
の途中とかでもノートブックやればあ、今ジェメニノーブックって名前でしたねみたいな呼び方切り替えながら話しても名前の変化までちゃんと拾われて単純な単語登録だけに頼っていない認識制度の高
さが伺えるかなと思います。で、ここで
注意したいのはモデルに似た名前のモデルが並んでいる点ですね。先ほどお見せした
通り色々なモデルがありますので検索窓にトランスクライブと入力して絞り込むことで選び間違いを防げるかなと思います。今
実際に文字起こしされていく予想を見てもらいましたが、動画内ではお伝えしきれないこういったAIツールを実務でどう使いこなすかをまとめた資料を概要欄の公式LINEで無料でお配りしております
。受け取り方は最後にご案内いたしますの
で是非最後までご覧ください。それでは
ここからが今日1番伝えたい機能でして、この先ほどお見せしたここですね、スマートトランスクリプション。これは
オンにしていきましょう。これをオンに
すると話の途中経過ではなく、最終的に言いたかった結論だけを拾って文章にしてくれます。重要なのはこの機能が単に言葉
を消しているのではなく、発の文脈から結局何言いたかったのってところを判断して書き直しているというところですね。だ
からこそ単なる後修正とは違う自然な文章になるんですね。実際に試していき
ましょう。このスマント
ランスクリプションのところオンにしていただいて、あえて言い直しを含むちょっと話し方していきたいと思います。
明日の打ち合わせですけれども、弊車からは4人、あ、いや、5人伺います。で、
えっと、疑似6は火曜[音楽]じゃなくて、あの、ま、木曜までにはいただきたいんですけれども、可能ですか?はい、こんな
感じになりました。出力された文章には
ちゃんと5人を伺いますってところと火曜じゃなくて木曜日にちゃんと訂正されていますね。なので最終的に正しい内容だけが
反映されているようです。冷静の経緯とか
は表示されておらず、最初から正しく話したかのような整った一部になっておりました。同じ期のちょっと日常的な場面でも
試していきたいと思います。例えば接客の
シーンちょっと想定してやっていきましょうか。あのラージのアイスコーヒー
を1つ、あ、ごめんなさい。やっぱり
ミディアムのアイスコーヒー。こちらに
変更でお願いします。はい。こんな感じ
です。どうでしょう?ちゃんとね、最初
っからミディアムのアイスコーヒーを1つという風に変更後の内容だけを反映した一分になりました。これ単に取り消せ
みたいに言葉消しているのではなく、発の文脈から結局最終的に何を伝えたかったのかを判断してから文章を組み立て直すという設計になっているからなんですね。
注意点として正直便利すぎて全部お任せにしたくはなるんですけれども正式な疑似力として使う場合は一度目を通すことをお勧めいたします。自動で整形されてしまう
分微妙なニュアンスの様では拾いきれない可能性があるので特にね人数とか日付金額みたいな間違えると業務に直接影響してしまう数字部分だけは目視で確認する癖をつけておくと安心かなというところです。
ここまでで自分の会議でも使ってみたいと関した方も多いんじゃないかなと思います。ただ実際にGoogleAIスタジオを
開いてもどのモデルを選べばいいのか、スマート機能をどう設定すれば動くのか、最初は迷うところも多いはずです。そこで
こういったAIツールを実に迷わず使いこなすための資料を私の方から4本まとめてご用意いたしました。1つ目が
凡人が天才を超えるためのAI活用術。2
つ目超時短生成AIかけるexel3つ目がAIかけるデザインの進め。デザイン
AIの強化書。4つ目、コデックスの始め
方ガイド。受け取り方はとても簡単です。
概要欄の1番上にある公式LINEを友達登録してトーク画面で使いこなしの書と送ってください。AIの世界は本当に流れ
が早いし、活用方法も次々と出てきます。
是非動画内ではお伝えしきれない活用方法も覚えてですね、え、そしたら是非活用していただけたらと思います。続いて録音
済みの音声ファイルを使った文字起こしも試していきます。ここでは話者を自動で
振り分ける機能も一緒に見ていきましょう。会議の音声データを渡すだけで誰がいつ
何を話したかまで自動整理されるのであれば疑似6作成の時間はかなり圧縮できますよね。操作方法としてはまずモデルを
録音ンデータ用のトランスクライブに切り替えます。次にスピーカーラベルズと
ワードタイムスタンプス。ま、これは単語
オートのタイムスタンプですね。この2つ
をオンにします。数分の音声に対して処理
はわずか数秒ほどで完了します。出力には
文字起こしに加えてスピーカー0、スピーカー1といったラベルと何秒から何秒まで発言したかというタイムスタンプが自動で付与され、ワ車の切り替わりも正確に認識されていました。出力された
テキストはそのままコピーして技力フォーモットに貼り付けることで下書きとしてすぐ使える状態となっています。注意
点2つございまして、1つ目は車分離とタイムスタンプを同時に使う場合、スマートトランスプションと同時には使えない仕様になっている点です。ち性を保っ
たままワ車を分けたい場合はあえてスマート機能をオフにして置く必要がございます。2つ目は音声ファイルの長さ
制限です。通常のトランスクライブでは
最長1時間の音声を処理できますが、分離やタイムスタンプを同時に使う場合は最長30分までという制限がございます。と
和社式別は3人まで安定しているんですけれども、それ以上最大8人くらいまでは実験段階の扱いなので人数の多い会議ではまずは3人以下の小人数の音声から試してみるのがおすすめです。この2つの機能
車内の技似録だけではなく人と接する業務全般でも役立ちそうなんですよね。窓口
太陽で聞き間違いのまま話が進んでしまい後で訂正が必要になるとかそういったのも現場でよくある話だと思います。例えば
行政機関とかあと店舗の窓口で担当者の発言をリアルタイムでディスプレイに表示すれば聴格に配慮が必要な大法者への案内にも役立ちます。さらにはスマート
ランスクリプションを使うことで担当者がお名前をこちらにあ、すいません。
こちらはご住所欄でしたみたいに言い直したとしても最終的に正しい案内だけが表示されますので引き手側のご入力や勘違いを防ぎやすくなります。車内業務なら録音
データ用のトランスクライブを使って営業電話とかカスタマーサポートの通話ログですね。こちらを話者分離でもしておくと
後から特定のやり取りだけを検索して振り返るみたいなそういった使い方もできます。動画のテロップ作成の叩き代として
話した内容をまず文字にしてから編集するといった使い方とも相性良さそうですね。
一方でこういう業務利用では無料枠で入力した音声データがGoogle側のモデル改善に使われる場合がある点には注意が必要です。顧客情報とか社外費の会議内容
を扱う場合は有料枠の利用を検討することをお勧めいたします。それでは最後に導入
前に知っておきたい注意点も整理していきましょう。デミニ3.5トランスクライブ
は精度、速度、価格のバランスに優れてる一方で万能ではございません。重要なのは
綺麗に整形されるイコールどんな場面にも向いているといった意味ではないというですね。比較する観点は精度、速度、価格
、そして蓄後性への向き不きの4つです。
制度は非ストリーミングで平均W。これは
話した言葉をAIがどれだけ聞き間違えたかを示す数値ですけれども、そのが2.6%、リアルタイムのストリーミングで4.0%と公式発表では高い水準が指名されています。価格も録音データで1分
あたり0.5円前後とお手頃な価格帯ですね。ただこの数値はあくまでも多言語平均
の参考値なので日本語特有の方言とか早口あと雑音環境での実際の制度は自分の音声で試して確認することをお勧めいたします。もう1つの注意点はスマート機能によっ
て言い直しやピラーが消えてしまうので一言一区をそのまま記録する必要がある正式な疑似力や法律医療分野の記録には不気だというところですね。そういう場面
では祝で書き起こすモードと使い分ける必要がございます。叩き台をとにかく早く
作りたい場面ではジミニ3.5トランスクライブが圧倒的に有利ですが、イチゴ1の正確な記録が必要な場面ではこれまで通りのちモードや専用ツールとの平洋を検討してください。今回は
Googleの新しい文字起こしAIジェミニ3.5トランスクライブを実際の画面を見ながら紹介してまいりました。
重要な3点1つ目ですね。言い直しを自動
で正しい内容だけに直すスマートランスプション機能があること。2つ目
、録音データならば分離とタイムスタンプ付けの文字起こしが数秒で完成すること。
3つ目、便利な反面、思考性が必要な正式記録には不気なので、用途に応じて使い分が必要だということです。まずは直近の
会議の録音を1歩GoogleAIスタジオにアップロードして試してみてください。自分の声、自分の会議で試すの
が1番早い理解の近道です。今回ご紹介し
た内容を実でもそのまま使いこなせるように4つの資料も是非受け取ってみてください。1つ目、凡人が天才を超える
ためのAI活用術。2つ目、超時短生成
AI×EXELシナ。3つ目、AI×
デザイン制作の進め。デザインAIの強化
書。4つ目、コデックスの初め方ガイド。
新しいツールが出た時こそそこからさらにAI活用の幅を広げるチャンスです。概要
欄の1番上にある公式LINEを友達登録してトーク画面で使いこなしの書とお送りください。それだけでですね、公式
LINEの方から無料でこのプレゼントお配りしております。無料で手に入れられ
ますので是非ですね、今のうちに受け取っていただいてどしどしと活用していただけたらなと思います。今回の動画が参考に
なりましたら是非高評価とチャンネル登録もよろしくお願いいたします。また次回の
動画でお会いしましょう

來源：transcript.txt

本次執行流程與問題處理

  1. 下達指令

    指令：videonote https://youtu.be/KY6cY0sCnBM?si=jWL6tPl0IZdmHIu2 --language ja --bilingual --learning --auto-source-subtitles

    來源：https://youtu.be/KY6cY0sCnBM?si=jWL6tPl0IZdmHIu2

    辨識語言：ja ｜ 參數：--language ja --bilingual --learning --auto-source-subtitles

  2. 預期流程

    依指令產生的處理順序：

    1. 自動字幕優先，Whisper 作為備援
    2. 來源選擇與品質檢查
    3. 文字校正與句子單元
    4. 雙語翻譯
    5. 雙語時間軸與學習單元
    6. 筆記與發布
    7. 公開網頁發布

  3. 1. 下載與語音辨識

    工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）

    處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿

    產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）

    耗時：3.2 秒

    關係：依序執行

    結果：完成

  4. 2. 全文快速校讀

    工具：videonote_rapid_transcript_review.py

    處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目

    產出：rapid_transcript_review_report.json（產出檔案）

    耗時：60.4 秒

    關係：依序執行

    結果：完成

  5. 3. 建立句子單元

    工具：videonote-build-sentence-units

    處理：將逐字稿切成帶時間軸的句子單元

    產出：sentence_units.json（句子單元）

    耗時：0.5 秒

    關係：依序執行

    結果：完成

  6. 4. 時間軸稽核

    工具：videonote_timeline_audit.py

    處理：檢查時間軸與音訊對齊

    產出：timeline_audit_report.json（時間軸稽核）

    耗時：0.5 秒

    關係：依序執行

    結果：完成

  7. 5. 品質檢查

    工具：videonote_controlled_quality.py（檢查時間軸與品質）

    處理：檢查語言、時間軸與可讀性品質

    產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）

    耗時：0.5 秒

    關係：依序執行

    結果：完成

  8. 6. 播放時間軸回填

    工具：videonote_rebase_display_timeline.py

    處理：將網頁播放時間軸回填為校正字幕時間

    產出：display_timeline_rebase_report.json（時間軸回填報告）

    耗時：0.6 秒

    關係：依序執行

    結果：完成

  9. 7. 雙語翻譯

    工具：vnt-sentence（句子雙語翻譯）

    處理：將句子翻譯成繁體中文

    產出：sentence_bilingual_transcript.json（雙語逐字稿）

    耗時：87.5 秒

    關係：依序執行

    結果：完成

  10. 8. 雙語時間軸與學習單元

    工具：videonote_learning_timeline_v2.py（建立雙語時間軸與學習單元）

    處理：建立雙語時間軸與學習內容

    產出：sentence_bilingual_timeline.html（雙語時間軸頁）、learning.json（學習單元）、japanese_learning.json（日文學習單元）

    耗時：126.1 秒

    關係：依序執行

    結果：完成

  11. 9. 生成筆記摘要

    工具：videonote-generate-note（生成筆記摘要）

    處理：生成筆記摘要與重點

    產出：note.md（筆記 Markdown）、note.html（筆記 HTML）

    耗時：133.9 秒

    關係：依序執行

    結果：完成

  12. 10. 建立筆記頁面

    工具：videonote-render-html（產生筆記 HTML）

    處理：產生可閱讀的筆記 HTML 頁面

    產出：note.html（筆記 HTML）

    耗時：1.0 秒

    關係：依序執行

    結果：完成

  13. 11. 發布公開頁面

    工具：videonote-publish（發布公開頁面）

    處理：發布到公開網站與每日列表

    產出：公開筆記網址、result.json（管線結果）

    耗時：0.1 秒

    關係：依序執行

    結果：完成

手動來源字幕

自動來源字幕

Whisper 字幕

Qwen 字幕

Parakeet 字幕

MOSS 字幕

聲學時間證據（PyAnnote / WhisperX）

校正前後逐字稿

目前待解決問題與初步改善方向

進一步精進字幕與筆記
使用 Workbench 上傳校正字幕、中文參考稿或回饋 SRT，重新產生雙語與學習單元。
開啟 Workbench