皆さん、こんにちは。
自分らしい生き方で元気で幸せな経用をするあり方社長を5万人にする傾斜コンサルタント目から鱗の長嶋です。社長
のためのAI活用実践講座シリーズですが、本日のテーマはこちらになります。
ジェミ3.5トランスクライブ徹底検証Google本気の次世代知能付き持ちこしと題してお届けをしたいと考えています。ま、皆さん、あの
Googleから突如リースされた最新の文字起こしモデルジェニー3.5トランスクライブをご存知でしょうか?これがですね、本当にめちゃくちゃワクワクするような進化を遂げているということで話題なんですね。
で、GoogleAISTで誰でもすぐに試せるようにはなってるんですが、単に音声を文字にするということだけではなくて、インテリジェンス機能、スマート機能というものによって飯みとかフィラー音を
綺麗に取り除いて専門用語をですね、ビシッと整えて文字起こしをしてくれるというとんでもない優れ物になっています。
ま、今回はこの新機能の公式発表の狙いとか実際の制度検証を進めていきたいという風に思ってます。ま、将来的なね、同向も
含めて考えていきたいなという風に思いますので、是非最後までご覧ください。
さて、まずは速報として何が起きたのかを整理しておきましょう。26年8月27日
、Googleは公式ブログ及び開発者向けポータルにてジェミニファミリーの最新モデルであるジェミ3.5トランスクライブを電撃発表しました。
これまでもジェミは音声の聞き取りは得意でしたが、今回は音声文字起こしに特化した専用モデルとして登場しました。現在
GoogleAISTO上でパブリックプレビューとして解放されていて、ブラウザー上ですぐにマイクを使ったリアルタイムの文字起こしとか録音ファイルの文字起こしをテストできるようになっています。AIスタジオって
エンジニア向けでしょうと思われるような社長もいらっしゃるかもしれませんが、実は画面上でボタンをポチッと押すだけでマイクから喋ってテストまでできます。ま
、非常に直感的なUIになっていますので、まずはこの新機能が手元に届いたというこのドキドキを是非一緒に味わいたいという風に思います。ではGoogleは
なぜ今このトランスライブという音声認識特化のモデルを代々的にリリースしたのか、その狙いと背景を一緒に見ていきたいと思いますが、従来の文字起こしツールっていうのは例えばWISAとかGoogle
の従来のスピーチtoテキストも精度は高かったんですが、本質的には聞こえた音をそのままテキストに変換するという機能でした。そのためAとかあのといった
フィラ音言い間違い同音意義後の5変換がそのまま残ってしまうということが起こり、ま、例えば技似録にしていくには後から人が手直しをするか他のAIに投げて成唱させるという必要がありました。これに
対してGoogleが目指したのはマルチモーダルAIであるジェミの文脈理解力を音声認識の瞬間に直接融合させるということなんですね。つまり会話全体の
文脈を理解しながらリアルタイムに意味の通る綺麗な文章へと聖書して出力していく。これこそがGoogleの狙いであり
持ち起こしの完全なパラダイムシフトになるというポイントなんですね。
このジェミニ3.5トランスクライブの最大の特徴それがインテリジェンス機能になります。具体的に何が従来の文字起こし
と違うのかポイントは大きく3つあります。1つ目は飯みフィラオンの自動除去に
なります。あ、AOといった無駄な発を
AIが文脈を判断して自動的にカットしてくれます。2つ目がスマートな書式整形に
なります。不当点の適切な配置はもちろん
数字、単位、英語の略勝、大文字、小文字などを文脈に合わせて最も読みやすい形に自動整形するという機能が備わっています。3つ目が文脈水論による専門用語の正確
な変換になります。前後の文脈から業界
用語や専門用語を推測して同音意義後のご変換を防ぐということができるようになっています。ま、後から別のAIで要約を
し直さなくても文字起こしされた瞬間にそのまま疑似力やメモとして使えるクオリティになる。これが
インテリジェンスモードの正体になります。さてここでGoogle公式
ドキュメントで明記されている正確なスペック時間制限などについて抑えておきましょう。ま、ここを誤解してると実務で
失敗してしまいますので数字を正確にお伝えしたいと思います。まず1つ目、
リアルタイム文字起こしになりますが、連続ストリーミングセッションの持続時間というのはワンセッションあたり最大10分までと現状はなっています。つまり何
時間もの会議をリアルタイムで垂れ流しするという仕様には今はなっていなくて短い発や要所の音声入力がポイントになっています。2つ目、録音ファイルの文字
起こしになりますが、こちらは通常のリクエストで最大1時間までの音声ファイルに対応してるということです。
ただし分離や単語レベルのタイムスタンプを有効にした場合は最大30分までに制限されます。ま、誰が喋ってるのかっていう
のと、いつどれぐらいの時間喋ってるかみたいなことを正確に割り出す場合には最大30分までになります。そして3つ目
、和車分離になりますが、使用上は最大8人まで対応するということですが、ただし公式ドキュメントには3名以上の和射式別は実験的だという風に明記されているので、ま、確実に高制度で分けられるのは現状
3名までとなっているということです。ま
、このリアルタイム10分、ファイル1時間、分離30分、3名までという数字を頭に入れといていただければと思います。
さて、それでは実際の画面を見ながら検証していきたいという風に思いますので、まずはGoogleAISTに行きましょう。今お見せしてるのが
GoogleAISTOで、ここのモデルセレクションという風になっていますが、ここをですね、オーディオという風に変えていただくと、こちらにともうですね、ジェミニ3.5トランスクライブという
ものが出てきています。で、このライブと
いうものが実際に喋りながらですね、え、音声文字起こしをしてくれるモデルになりますので、こちらを選んでいただくと、もうこれで中に入れるという状態になります。で、TriライザラブAPIという
風になっていて、ま、ここでトークという風になってるので、え、このままですね、トークを押すと始まります。ここにですね
、スマートリプションというものがありますね。これがスマート
機能のオンとオフになります。で、一旦
ですね、オフにした状態で喋ってみましょう。これ話できてますかね?あ、
できてますね。はい。え、今ここでですね
、えっと、デモ的に行っているのが、え、今回のその最新の音声認識であるGoogleの、え、トランスクライブの、え、デモになっています。
はい。で、これは今インテリ、え、
スマートモードになっていない状態なので、えー、こんな感じになっているというところですね。
はい。じゃあ、スマートモードを入れてみ
ましょう。ちなみにですが、ここに
プライマリーランエッジということで、ここで言語設定もできます。ま、中心に
使うのが日本語であれば、日本語を設定していただければ、ま、これでですね、日本語が中心になります。で、スマートモード
をオンにしてもう1度テストしていきたいと思います。はい。え、こちらで
、あの、今、ああ、今、え、デモをやっていますが、え、こんな感じで、え、うまく反映されているでしょうか?
あ、出ましたね。で、今こうやって、えっ
と、ちょっと間を開けたりすると、え、このように、え、正確な文字が反映されるという形になっていきます。フィラオンと
か、ま、そういったものが無駄なものが、えっと、除去されましたよね。
結構いいですよね。ま、優秀だなと思い
ます。先ほどの、えっと、スマートモード
をオンフにしていた時とオンにしていた時では、ま、明らかにその文章の制度が上がってますよね。
じゃあここでですね、言い直しをしてみたいと思います。えっと、そういう意味で
言うと次回の打ち合わせは3名でお伺いをしたい。あ、いやいや、えっとちょっと
待ってくださいね。えっと、3名ではなく
て、え、4名、え、てお伺いする予定にしています。
見ましたかね。今この形で、え、言い直し
をした場合にどちらが正しいのかということを文脈上判断して、え、正しいものを適用するという形になっています。なので
文字起こしとしての精度がめちゃくちゃ高いだけではなくて、文字を正確に起こすのではなくて文脈を理解して文脈を理解した上で文字起こしをするので、ま、疑似力とかにはめちゃくちゃ最適だということ
ですね。で、人は、ま、言い直しっていう
のを普通に、え、起こってしまうので、ま、こういった意味で考えるとやっぱりこの言い直しとかフィラ音とかこういったものをしっかりと除去して、え、正しい文脈で、え、表現してくれるっていうのは
めちゃくちゃありがたいという風になると思います。
はい。めちゃくちゃいいですよね。
めっちゃいいなと思います。で、これ今見
ていただいたのがライブの音声のデモになりますね。で、次にですね、モードを
切り替えて、今度は、えっと、ライブではないバージョンですね。はい。を見て
いただきたいなと思います。録音をの音声
をですね、アップロードしてその音声を読み込んで使ってみたいと思います。で、
Wordのタイムスタンプとスピーカーラベルがオッケーで、Wordのタイムスタンプとスピーカーラベルをつけてもらう形にして、今ここにデモ的に作った音声を入れました。じゃあこれをですね、
文字起こししていきます。
そうするとどうなるか。ま、チャット
GPTワークとですね、え、デモ的に5分ぐらい取ったトークを今文字起こししてもらっています。認識とタイムスタンプと
いうところを見たいなと思います。
はい、出ましたね。
あ、いいですね。ちゃんとワ者を認識して
ますね。ま、声がね、あの、確実に違うの
で認識ができるんですが、ま、それでもですね、ちゃんと正確にワ者を認識してますね。で、男性と女性みたいな分かり
やすいやつだとあれなんで、チャトGPTワークの声を男性にして見てるみたんですが、それでももう正確に読んでますね。
いや、すごいですよね、これ。本当に。
えっと、疑似6としては完璧ですよね。で
、はい。で、今、あの、これ使ってみて、
えっと、私も、え、分かったんですが、あ、このスマートランスプションとWordタイムスタンプスピーカーラベルは同時では使えないみたいですね。なのでこれ使い
たい場合はですね、どうするかって言うと分けないといけないってことですよね。だ
から多分スマート機能を入れて同じくですね、入れてで文字起こしをさせると認識やタイムスタンプは出ずに出てくるって感じですかね。はい、出ましたね。ただえっとね、
言い直しとかめっちゃしたんですよ。
あえて。で、それがですね、確実に大切な
部分だけに絞られて、さっきめちゃくちゃ長かったですけどね。ま、こんな感じで
絞られるんで、実態疑似録的に言うとこっちの方がいいと思いますね。さっきの
は正しく文字起こしができてるという状態でしたね。え、で、認識とタイムスタンプ
が正確に出るということなんですが、今度こっちのあのスマートランスプションの方を選ぶと、え、今このように、えっと、無駄なものが削ぎ落とされて、ただ内容だけがバシッと出てくると、ま、認識は出
ないですけどね。なので、ま、両方作っと
くっていうのは1つ手だと思いますね。
両方落としといて、で、技似録的には今のこのトランスクリプションを選んで、え、ワードタイムスタンプとスピーカーラベルの方は、え、ミーティングの、えっと、原票としての文字を起こしにしておく。ま
、この辺はありかなという風に思います。
ま、今こうやって見ていただいたようにこれぐらいのスピードで、そしてこの精度で上がってくるということで、もうめちゃくちゃいいですよね。めちゃくちゃ
いいと。それでですね、えっと、録音じゃ
なくて、え、その場で撮りたいという場合にはこのレコードオーディオというのがあって、認識やスピーカーラベルも貼ることができますので、ま、何かリアルタイムでミーティングをしたいという場合
には、ま、レコードオーデオでもオッケーなんですが、ま、それだったらライブでいいと思うので、この、ま、ただ認識とスピーカーラベルを貼りたかったらここでのレコードオーディオでいいんじゃないか
なと思います。ま、取ってからおそらく
これを落とし込んでいくということなんで、ライブでやる場合には先ほどの文字起こしの感じになっていくと認識とかまだできないとそんな感じかなという風には思います。ま、ただあれぐらいのリアル
タイムで出てくると本当にですね、例えばもう1回ね、南長の方とか含めてですね、え、文字で、え、対話をする時にはめちゃくちゃ楽になるんじゃないかなという風に思いますし、ま、これから、え、
シニアの世代も増えてくるので、ま、そういった方々に話すだけだと伝わらなかったら文字でも示すみたいなこともできるし、ま、あとは説明のね、え、何か説明の資料なんかもバーと取ったものをこう今の
、えっと、制度高い文字を越して出していくっていうやり方もあると思うので、ま、使い方、可能性っていうのはめちゃくちゃ広がるんじゃないかなという風には思っています。それでは、えっと、資料の方に
戻っていきましょう。さて、ま、ここで、
え、社長の皆様に絶対知っておいていただきたい3大注意点、機能制限を改めてまとめていきたいと思います。ま、
1つ目なんですが、ま、セキュリティと機密情報の扱いになります。Google
AIスタジオはあくまでも開発者向けの実験環境になりますので、無料枠ではデータが学習に利用される可能性があります。なので社外費の役員会議とかお客様
の個人情報が入った本番の録音データを投入するっていうのは絶対に避けてください。ま、デモ的に作ったもので、え
、どういう動きをするかっていう実験だけにしてください。2つ目が時間の長さの
上限です。リアルタイムはワンセッション
最大10分、録音ファイルは通常最大1時間、あかじめ30分ごとにファイルを分割して投入する運用が最も重要になるという風に思ってください。そして3つ目が
識別の限界です。分離は3名までは高制度
なんですが、4から8名は実験的で保証外になってるので、大人数でですね、ガヤガヤと同時に喋るような会議については話者の取り違いが起こる前提でチェックするという必要があります。ま、まだ本番
環境で使わないと思いますので、ま、実験的にはそこまでの人数のやつはやんないかなという風に思いますが、あくまで3名限界と、ま、そういうことになっています。では、このジェミニ3.5
トランスクライブの登場は私たちのビジネスの未来にどんなインパクトをもたらすのか、私が最も面白いという風に思ってるのはGoogleace、特にGoogleMeetへの統合だという風に思ってます。ま、今もですね、
GoogleMeetには自動文字起こしの機能があります。ま、日本語の認識制度
やフィラーの処理にはまだまだ改善の余地があるという風に考えます。ところがこの
ジェミニ3.5のトランスクライブの技術がミートの裏側に、え、標準搭載されたらどうなるか。会議が起こってるその最中に
リアルタイムで全員の発言がわ別に美しくえっと整えられて会議が終了した瞬間に手直しの全くいらない完璧な技似力がGoogleドキュメントとして完成するような世界っていうのがもう間もなくやっ
てくるとそんな感じですね。会議の後に
疑似力を書くという仕事そのものが完全にこの世から消滅すると、ま、そういう感じです。さらに、え、進化は疑似力だけには
とまらないと思います。ま、音声が知能
付きで正確にテキスト化されるということはそのテキストを起点にして、え、例えばですね、ジェミニスパークのような自立型のAIエージェントが連動して動けるようになるということです。ま、例えば営業
担当者がお客様と承を行うとその会話の内容からお客様の課題や要望、次回のアクションが自動出されてCRMへの入力、見積もり書のドラフト作成、次回の面談日程の仮応抑えまでが全で完了する可能性
が出てきました。またカスタマーサポート
の電話対応でもお客様との通話がリアルタイムで文字起こしされてAIが画面上に最適な回答候補を瞬時に提示するAIの耳というものが進化することで会社のオペレーションレベルが一気に自動化され
ていくっていう可能性が出てきます。それ
では、え、私たち経営者は今何を準備しておくべきなのか、今からできる3つの準備アクションをお伝えしていきます。ま、
ステップ1はGoogleAIスタジオで実際にマイクを使って喋ってみることです。ま、10分以内のテスト音声で構わない
ので、ノーマルモードとインテリジェンスモードの違いを自分の声でまず体感をし、ここまで綺麗に治るのかという肌感覚を掴んでもらうのがいいかなと思います。
ステップ2は車内で発生している音声業務の棚下ろしです。ま、経営会議とか営業
相談とか採用面接、電話対応など文字起こしとようやくに時間を奪われてるような業務が車内にどれだけあるかをリストアップしておきます。ステップさん
は自社の専門用語や商品名の整理です。ま
、将来とカスタム語彙として登録することは今もできるんですが、今、ま、実験上なので登録する、登録する必要はないですが、本番環境に来た時にこのカスタム語を登録しておくだけで文字起こしの制度は
より高くなります。なので自社特有の言葉
をまとめておくということはやっておいてください。ま、この準備をしておくことで
、ワークスペースに正式実装された瞬間、他を圧倒するスピードで業務効率化や自動化を実現するということができるようになります。さて、本日のまとめになります
が、ま、今回発表されたジェミニ3.5トランスクライブは単なる文字起こしのツールではありません。AIが文脈を理解
しながら話を聞いて人間が読みやすい形に整えてくれるというAIのコミュニケーション基盤の大きな進化の1つです。キーボードで文字をカタカタ
打ち込む時代から声で話せば裏側でAIが全てを整えて仕事を完了させてくれる時代へと急速にシフトしていきます。経営者で
ある私たちは面倒な入力や疑似録作成といった作業から完全に解放されますし、社員もそういった仕事に充実させるという必要がなくなります。社員やお客様との
対話、そして自社の未来を作る本質的な経判断に100%のエネルギーを注ぐということができるようになってきています。
是非今回の新機能をまずは触ってみて自社の未来の働き方を想像しながらワクワクしてデザインをしていくということをやってください。さて、ここでお知らせがあり
ます。私はYouTubeの
メンバーシップであるAIビジネス実装ラボというものを運営しています。ここで
は毎月1回のライブセッションやメンバー限定のチャットを通じでAI活用について皆さんと一緒に深める活動をしています。
現場団の努臭い思考錯誤やYouTubeでは出せない具体的なプロンプトの裏側も共有していますので、自社の業務にAIを具体的に組み込んでいきたいという社長様やリーダーの方は是非概要欄のリンクから
詳細をチェックしてみてください。さて、
本日の内容が参考になったという方は是非高評価とチャンネル登録をよろしくお願いたします。それではまた次回の動画でお
会いしましょう。目から鱗の長嶋でした。
ありがとうございました。