皆さん、こんにちは。
自分らしい生き方で元気で幸せな経用を
するあり方社長を5万人にする傾斜
コンサルタント目から鱗の長嶋です。社長
のためのAI活用実践講座シリーズですが
、本日のテーマはこちらになります。
ジェミ3.5トランスクライブ
徹底検証Google本気の次世代知能
付き持ちこしと題してお届けをしたいと
考えています。ま、皆さん、あの
Google
から突如リースされた最新の文字起こしモデルジェニー
3.5
トランスクライブをご存知でしょうか?これがですね、本当にめちゃくちゃワクワクするような進化を遂げているということで話題なんですね。
で、GoogleAISTで誰でもすぐに
試せるようにはなってるんですが、単に
音声を文字にするということだけではなく
て、インテリジェンス機能、スマート機能
というものによって飯みとかフィラー音を
綺麗に取り除いて専門用語をですね、
ビシッと整えて文字起こしをしてくれると
いうとんでもない優れ物になっています。
ま、今回はこの新機能の公式発表の狙いと
か実際の制度検証を進めていきたいという
風に思ってます。ま、将来的なね、同向も
含めて考えていきたいなという風に思い
ますので、是非最後までご覧ください。
さて、まずは速報として何が起きたのかを
整理しておきましょう。26年8月27日
、Googleは公式ブログ及び開発者
向けポータルにてジェミニファミリーの
最新モデルであるジェミ3.5
トランスクライブを電撃発表しました。
これまでもジェミは音声の聞き取りは得意
でしたが、今回は音声文字起こしに特化し
た専用モデルとして登場しました。現在
GoogleAISTO上でパブリック
プレビューとして解放されていて、
ブラウザー上ですぐにマイクを使った
リアルタイムの文字起こしとか録音
ファイルの文字起こしをテストできるよう
になっています。AIスタジオって
エンジニア向けでしょうと思われるような
社長もいらっしゃるかもしれませんが、実
は画面上でボタンをポチッと押すだけで
マイクから喋ってテストまでできます。ま
、非常に直感的なUIになっていますので
、まずはこの新機能が手元に届いたという
このドキドキを是非一緒に味わいたいと
いう風に思います。ではGoogleは
なぜ今このトランスライブという音声認識
特化のモデルを代々的にリリースしたのか
、その狙いと背景を一緒に見ていきたいと
思いますが、従来の文字起こしツールって
いうのは例えばWISAとかGoogle
の従来のスピーチtoテキストも精度は
高かったんですが、本質的には聞こえた音
をそのままテキストに変換するという機能
でした。そのためAとかあのといった
フィラ音言い間違い同音意義後の5変換が
そのまま残ってしまうということが起こり
、ま、例えば技似録にしていくには後から
人が手直しをするか他のAIに投げて成唱
させるという必要がありました。これに
対してGoogleが目指したのは
マルチモーダルAIであるジェミの文脈
理解力を音声認識の瞬間に直接融合させる
ということなんですね。つまり会話全体の
文脈を理解しながらリアルタイムに意味の
通る綺麗な文章へと聖書して出力していく
。これこそがGoogleの狙いであり
持ち起こしの完全なパラダイムシフトに
なるというポイントなんですね。
このジェミニ3.5トランスクライブの
最大の特徴それがインテリジェンス機能に
なります。具体的に何が従来の文字起こし
と違うのかポイントは大きく3つあります
。1つ目は飯みフィラオンの自動除去に
なります。あ、AOといった無駄な発を
AIが文脈を判断して自動的にカットして
くれます。2つ目がスマートな書式整形に
なります。不当点の適切な配置はもちろん
数字、単位、英語の略勝、大文字、小文字
などを文脈に合わせて最も読みやすい形に
自動整形するという機能が備わっています
。3つ目が文脈水論による専門用語の正確
な変換になります。前後の文脈から業界
用語や専門用語を推測して同音意義後のご
変換を防ぐということができるようになっ
ています。ま、後から別のAIで要約を
し直さなくても文字起こしされた瞬間に
そのまま疑似力やメモとして使える
クオリティになる。これが
インテリジェンスモードの正体になります
。さてここでGoogle公式
ドキュメントで明記されている正確な
スペック時間制限などについて抑えておき
ましょう。ま、ここを誤解してると実務で
失敗してしまいますので数字を正確にお
伝えしたいと思います。まず1つ目、
リアルタイム文字起こしになりますが、
連続ストリーミングセッションの持続時間
というのはワンセッションあたり最大10
分までと現状はなっています。つまり何
時間もの会議をリアルタイムで垂れ流し
するという仕様には今はなっていなくて
短い発や要所の音声入力がポイントになっ
ています。2つ目、録音ファイルの文字
起こしになりますが、こちらは通常の
リクエストで最大1時間までの音声
ファイルに対応してるということです。
ただし分離や単語レベルのタイムスタンプ
を有効にした場合は最大30分までに制限
されます。ま、誰が喋ってるのかっていう
のと、いつどれぐらいの時間喋ってるか
みたいなことを正確に割り出す場合には
最大30分までになります。そして3つ目
、和車分離になりますが、使用上は最大8
人まで対応するということですが、ただし
公式ドキュメントには3名以上の和射式別
は実験的だという風に明記されているので
、ま、確実に高制度で分けられるのは現状
3名までとなっているということです。ま
、このリアルタイム10分、ファイル1
時間、分離30分、3名までという数字を
頭に入れといていただければと思います。
さて、それでは実際の画面を見ながら検証
していきたいという風に思いますので、
まずはGoogleAISTに行き
ましょう。今お見せしてるのが
GoogleAISTOで、ここのモデル
セレクションという風になっていますが、
ここをですね、オーディオという風に変え
ていただくと、こちらにともうですね、
ジェミニ3.5トランスクライブという
ものが出てきています。で、このライブと
いうものが実際に喋りながらですね、え、
音声文字起こしをしてくれるモデルになり
ますので、こちらを選んでいただくと、
もうこれで中に入れるという状態になり
ます。で、TriライザラブAPIという
風になっていて、ま、ここでトークという
風になってるので、え、このままですね、
トークを押すと始まります。ここにですね
、スマートリプション
というものがありますね。これがスマート
機能のオンとオフになります。で、一旦
ですね、オフにした状態で喋ってみ
ましょう。これ話できてますかね?あ、
できてますね。はい。え、今ここでですね
、えっと、デモ的に行っているのが、え、
今回のその最新の音声認識である
Googleの、え、トランスクライブの
、え、デモになっています。
はい。で、これは今インテリ、え、
スマートモードになっていない状態なので
、えー、こんな感じになっているという
ところですね。
はい。じゃあ、スマートモードを入れてみ
ましょう。ちなみにですが、ここに
プライマリーランエッジということで、
ここで言語設定もできます。ま、中心に
使うのが日本語であれば、日本語を設定し
ていただければ、ま、これでですね、日本
語が中心になります。で、スマートモード
をオンにしてもう1度テストしていきたい
と思います。はい。え、こちらで
、あの、今、ああ
、今、え、デモをやっていますが、え、
こんな感じで、え、うまく反映されている
でしょうか?
あ、出ましたね。で、今こうやって、えっ
と、ちょっと間を開けたりすると、え、
このように、え、正確な文字が反映される
という形になっていきます。フィラオンと
か、ま、そういったものが無駄なものが、
えっと、除去されましたよね。
結構いいですよね。ま、優秀だなと思い
ます。先ほどの、えっと、スマートモード
をオンフにしていた時とオンにしていた時
では、ま、明らかにその文章の制度が
上がってますよね。
じゃあここでですね、言い直しをしてみ
たいと思います。えっと、そういう意味で
言うと次回の打ち合わせは3名でお伺いを
したい。あ、いやいや、えっとちょっと
待ってくださいね。えっと、3名ではなく
て、え、4名、え、てお伺いする予定にし
ています。
見ましたかね。今この形で、え、言い直し
をした場合にどちらが正しいのかという
ことを文脈上判断して、え、正しいものを
適用するという形になっています。なので
文字起こしとしての精度がめちゃくちゃ
高いだけではなくて、文字を正確に起こす
のではなくて文脈を理解して文脈を理解し
た上で文字起こしをするので、ま、疑似力
とかにはめちゃくちゃ最適だということ
ですね。で、人は、ま、言い直しっていう
のを普通に、え、起こってしまうので、ま
、こういった意味で考えるとやっぱりこの
言い直しとかフィラ音とかこういったもの
をしっかりと除去して、え、正しい文脈で
、え、表現してくれるっていうのは
めちゃくちゃありがたいという風になると
思います。
はい。めちゃくちゃいいですよね。
めっちゃいいなと思います。で、これ今見
ていただいたのがライブの音声のデモに
なりますね。で、次にですね、モードを
切り替えて、今度は、えっと、ライブでは
ないバージョンですね。はい。を見て
いただきたいなと思います。録音をの音声
をですね、アップロードしてその音声を
読み込んで使ってみたいと思います。で、
Wordのタイムスタンプとスピーカー
ラベルがオッケーで、Wordのタイム
スタンプとスピーカーラベルをつけて
もらう形にして、今ここにデモ的に作った
音声を入れました。じゃあこれをですね、
文字起こししていきます。
そうするとどうなるか。ま、チャット
GPTワークとですね、え、デモ的に5分
ぐらい取ったトークを今文字起こしして
もらっています。認識とタイムスタンプと
いうところを見たいなと思います。
はい、出ましたね。
あ、いいですね。ちゃんとワ者を認識して
ますね。ま、声がね、あの、確実に違うの
で認識ができるんですが、ま、それでも
ですね、ちゃんと正確にワ者を認識して
ますね。で、男性と女性みたいな分かり
やすいやつだとあれなんで、チャトGPT
ワークの声を男性にして見てるみたんです
が、それでももう正確に読んでますね。
いや、すごいですよね、これ。本当に。
えっと、疑似6としては完璧ですよね。で
、はい。で、今、あの、これ使ってみて、
えっと、私も、え、分かったんですが、あ
、このスマートランスプションとWord
タイムスタンプスピーカーラベルは同時で
は使えないみたいですね。なのでこれ使い
たい場合はですね、どうするかって言うと
分けないといけないってことですよね。だ
から多分スマート機能を入れて同じくです
ね、入れて
で文字起こしをさせると認識やタイム
スタンプは出ずに出てくるって感じですか
ね。はい、出ましたね。ただえっとね、
言い直しとかめっちゃしたんですよ。
あえて。で、それがですね、確実に大切な
部分だけに絞られて、さっきめちゃくちゃ
長かったですけどね。ま、こんな感じで
絞られるんで、実態疑似録的に言うと
こっちの方がいいと思いますね。さっきの
は正しく文字起こしができてるという状態
でしたね。え、で、認識とタイムスタンプ
が正確に出るということなんですが、今度
こっちのあのスマートランスプションの方
を選ぶと、え、今このように、えっと、
無駄なものが削ぎ落とされて、ただ内容
だけがバシッと出てくると、ま、認識は出
ないですけどね。なので、ま、両方作っと
くっていうのは1つ手だと思いますね。
両方落としといて、で、技似録的には今の
このトランスクリプションを選んで、え、
ワードタイムスタンプとスピーカーラベル
の方は、え、ミーティングの、えっと、
原票としての文字を起こしにしておく。ま
、この辺はありかなという風に思います。
ま、今こうやって見ていただいたように
これぐらいのスピードで、そしてこの精度
で上がってくるということで、もう
めちゃくちゃいいですよね。めちゃくちゃ
いいと。それでですね、えっと、録音じゃ
なくて、え、その場で撮りたいという場合
にはこのレコードオーディオというのが
あって、認識やスピーカーラベルも貼る
ことができますので、ま、何かリアル
タイムでミーティングをしたいという場合
には、ま、レコードオーデオでもオッケー
なんですが、ま、それだったらライブで
いいと思うので、この、ま、ただ認識と
スピーカーラベルを貼りたかったらここで
のレコードオーディオでいいんじゃないか
なと思います。ま、取ってからおそらく
これを落とし込んでいくということなんで
、ライブでやる場合には先ほどの
文字起こしの感じになっていくと認識とか
まだできないとそんな感じかなという風に
は思います。ま、ただあれぐらいのリアル
タイムで出てくると本当にですね、例えば
もう1回ね、南長の方とか含めてですね、
え、文字で、え、対話をする時には
めちゃくちゃ楽になるんじゃないかなと
いう風に思いますし、ま、これから、え、
シニアの世代も増えてくるので、ま、そう
いった方々に話すだけだと伝わらなかっ
たら文字でも示すみたいなこともできるし
、ま、あとは説明のね、え、何か説明の
資料なんかもバーと取ったものをこう今の
、えっと、制度高い文字を越して出してい
くっていうやり方もあると思うので、ま、
使い方、可能性っていうのはめちゃくちゃ
広がるんじゃないかなという風には思って
います。それでは、えっと、資料の方に
戻っていきましょう。さて、ま、ここで、
え、社長の皆様に絶対知っておいて
いただきたい3大注意点、機能制限を
改めてまとめていきたいと思います。ま、
1つ目なんですが、ま、セキュリティと
機密情報の扱いになります。Google
AIスタジオはあくまでも開発者向けの
実験環境になりますので、無料枠では
データが学習に利用される可能性があり
ます。なので社外費の役員会議とかお客様
の個人情報が入った本番の録音データを
投入するっていうのは絶対に避けて
ください。ま、デモ的に作ったもので、え
、どういう動きをするかっていう実験だけ
にしてください。2つ目が時間の長さの
上限です。リアルタイムはワンセッション
最大10分、録音ファイルは通常最大1
時間、あかじめ30分ごとにファイルを
分割して投入する運用が最も重要になると
いう風に思ってください。そして3つ目が
識別の限界です。分離は3名までは高制度
なんですが、4から8名は実験的で保証外
になってるので、大人数でですね、
ガヤガヤと同時に喋るような会議について
は話者の取り違いが起こる前提でチェック
するという必要があります。ま、まだ本番
環境で使わないと思いますので、ま、実験
的にはそこまでの人数のやつはやんないか
なという風に思いますが、あくまで3名
限界と、ま、そういうことになっています
。では、このジェミニ3.5
トランスクライブの登場は私たちの
ビジネスの未来にどんなインパクトを
もたらすのか、私が最も面白いという風に
思ってるのはGoogleace、特に
GoogleMeetへの統合だという風
に思ってます。ま、今もですね、
GoogleMeetには自動文字起こし
の機能があります。ま、日本語の認識制度
やフィラーの処理にはまだまだ改善の余地
があるという風に考えます。ところがこの
ジェミニ3.5のトランスクライブの技術
がミートの裏側に、え、標準搭載されたら
どうなるか。会議が起こってるその最中に
リアルタイムで全員の発言がわ別に美しく
えっと整えられて会議が終了した瞬間に
手直しの全くいらない完璧な技似力が
Googleドキュメントとして完成する
ような世界っていうのがもう間もなくやっ
てくるとそんな感じですね。会議の後に
疑似力を書くという仕事そのものが完全に
この世から消滅すると、ま、そういう感じ
です。さらに、え、進化は疑似力だけには
とまらないと思います。ま、音声が知能
付きで正確にテキスト化されるということ
はそのテキストを起点にして、え、例えば
ですね、ジェミニスパークのような自立型
のAIエージェントが連動して動けるよう
になるということです。ま、例えば営業
担当者がお客様と承を行うとその会話の
内容からお客様の課題や要望、次回の
アクションが自動出されてCRMへの入力
、見積もり書のドラフト作成、次回の面談
日程の仮応抑えまでが全で完了する可能性
が出てきました。またカスタマーサポート
の電話対応でもお客様との通話がリアル
タイムで文字起こしされてAIが画面上に
最適な回答候補を瞬時に提示するAIの耳
というものが進化することで会社の
オペレーションレベルが一気に自動化され
ていくっていう可能性が出てきます。それ
では、え、私たち経営者は今何を準備して
おくべきなのか、今からできる3つの準備
アクションをお伝えしていきます。ま、
ステップ1はGoogleAIスタジオで
実際にマイクを使って喋ってみることです
。ま、10分以内のテスト音声で構わない
ので、ノーマルモードとインテリジェンス
モードの違いを自分の声でまず体感をし、
ここまで綺麗に治るのかという肌感覚を
掴んでもらうのがいいかなと思います。
ステップ2は車内で発生している音声業務
の棚下ろしです。ま、経営会議とか営業
相談とか採用面接、電話対応など
文字起こしとようやくに時間を奪われてる
ような業務が車内にどれだけあるかを
リストアップしておきます。ステップさん
は自社の専門用語や商品名の整理です。ま
、将来とカスタム語彙として登録すること
は今もできるんですが、今、ま、実験上な
ので登録する、登録する必要はないですが
、本番環境に来た時にこのカスタム語を
登録しておくだけで文字起こしの制度は
より高くなります。なので自社特有の言葉
をまとめておくということはやっておいて
ください。ま、この準備をしておくことで
、ワークスペースに正式実装された瞬間、
他を圧倒するスピードで業務効率化や自動
化を実現するということができるように
なります。さて、本日のまとめになります
が、ま、今回発表されたジェミニ3.5
トランスクライブは単なる文字起こしの
ツールではありません。AIが文脈を理解
しながら話を聞いて人間が読みやすい形に
整えてくれるというAIの
コミュニケーション基盤の大きな進化の1
つです。キーボードで文字をカタカタ
打ち込む時代から声で話せば裏側でAIが
全てを整えて仕事を完了させてくれる時代
へと急速にシフトしていきます。経営者で
ある私たちは面倒な入力や疑似録作成と
いった作業から完全に解放されますし、
社員もそういった仕事に充実させるという
必要がなくなります。社員やお客様との
対話、そして自社の未来を作る本質的な経
判断に100%のエネルギーを注ぐという
ことができるようになってきています。
是非今回の新機能をまずは触ってみて自社
の未来の働き方を想像しながらワクワクし
てデザインをしていくということをやって
ください。さて、ここでお知らせがあり
ます。私はYouTubeの
メンバーシップであるAIビジネス実装
ラボというものを運営しています。ここで
は毎月1回のライブセッションやメンバー
限定のチャットを通じでAI活用について
皆さんと一緒に深める活動をしています。
現場団の努臭い思考錯誤やYouTube
では出せない具体的なプロンプトの裏側も
共有していますので、自社の業務にAIを
具体的に組み込んでいきたいという社長様
やリーダーの方は是非概要欄のリンクから
詳細をチェックしてみてください。さて、
本日の内容が参考になったという方は是非
高評価とチャンネル登録をよろしくお願い
いたします。それではまた次回の動画でお
会いしましょう。目から鱗の長嶋でした。
ありがとうございました。