皆さん、こんにちは。先生です。コ介先生
、普段こんなこともやってるので、気になる方はチェックしてみてください。今日
はですね、新たな化け物の生誕祭でございます。ジェミニのトランスクライブモデル
というのができましたと。何かと言うと、
端的に言えば文字起こしです。テキストの
文字起こしモデルなんですが、こいつね、やばい。めちゃくちゃやばいので、是非皆
さんご覧いただければと思います。
もう早速いきましょう。新たな化け物の
誕生ということでですね、今回ご紹介させていただければと思います。今回ご紹介
するのはこちらジェミ3.5トランスクライブというようなモデルになってきて、もうですね、Googleが産んだ市場最高制度を誇る音声認識モデルでございます。このモデル
はですね、もうインテリジェントな音声対話のために、インテリジェントな音声対話って何かなというようなことで、単なる文字起こしもちろんできるんですけど、[音楽]それだけではないっていう
のを後ほどですね、ご覧いただければと思います。で、普通のものだとですね、
背景雑音とか、あと専門用語が出てくると途端に違う言葉に変わっちゃったり、もしくは例えばジェミニって言われたら我々知ってるじゃないですか。Gniじゃ
ないですか。それカタカナでジェミって出
てきちゃったりだとかそういった部分にこう補正っていう部分で課題を抱える従来のモデルとはですね、もう[音楽]一戦を隠してます。後ほどお見せしますけど本当
にえぐいですよ。これね、私ね、想像以上
にテンション上がってます。もう昨日これ
が発表されてからずっとGoogleADでこういう風に言ったらどうかな。ああ
いう風に言ったらめちゃくちゃ試してる。
それぐらいこのジェミ3.5トランスクライブはAです。でも性格かつ
されたフォーマット済みテキストへ変換する技術を実現しております。で、実際
この記事ですね、こちらも是非皆さんお読みいただければと思います。もちろん
英語です。英語なので日本語にですね、私
のように翻訳していただいて、そうするとですね、色々この辺りにもリアルタイムストリーミングにも対応してるし、事前録音された音声の処理もできると。で、
それの参考となるですね、こう動画みたいなものがこう出てるわけですよ。で、この
人とかね、ちょっとだけ聞いてみましょうか。
としたらまさに今ここに映ってるのがこれジェミのトランスクライブモデルで構築されたアプリケーションだと思いますが、今からこの人喋りますと、どれぐらいリアルタイムに文字が起こされていくかちょっと見ていきましょう。
3.5Transcribeliveisourlatestmodelfortranscribingspeinrealtime.It'sparticularlygoodatmultilingual
transcription.SoIcanstartasentenceinEnglish分かりますか?
これ途中でしかも言語変わった時にそれで認識するわけですよ。デフォルトでもちろん日本語っていう風にやることもできるんですよ。
でもそうではなくて自動認識みたいな形にすればこんな形でどんどんどんどん別の言語でもできると。しかも今ほとんど遅延
なかったですよね。これぐらいで
トランスクライブできるわけです。で、
さらに先ほどスマートな文字起こしってつまり何かと言うとですね、これちょっとこちら見ていただくとこれがいわゆるそのままのモードとこれスマートリプションアクティブということで要はですね、
例えば話してる時に明日の会議は3人、あ、いや4人で伺いますって言ったりするじゃないですか。そしたら最終的に何人で
伺うんだって言ったら4人ですよね。そう
すると明日は4人で伺います。なるわけ
ですよ。それがいわゆるこのスマート
クリプションアクティブの状態ですね。
ちょっとこれデモみたいなものがあるので見ていきましょう。Iwanta
largewithoట్milktwopumpsofhallelnutandexrashandlightiactallymakethehanutintocaramelremovetheexrashandmakeit
regulariwanoiatallchangethesൈfromlgetomedium分かります?
これ左側は最初こう頼んでいたものに対してウェイトとノーアイスアイスはいらないよとでchangefromラージからミディアムにというような形で最初にラージと言っているわけですよ。
でも最終的に、あ、やっぱミディアムに変えてくださいって言ったら見てください。これIwanta
medミディアムアイスドラテもうあ、変わったんだったら最初のやつ変えちゃえばいいやというような形でスマートモジ起こしたらつまりこういうことなわけですね。これすごくないですか?これ
しかもリアルタイムにどんどんどんどんこう書き起こしながら最終的に綺麗なものにしてくれるっていう。これね、本当
えぐいですよ。で、ちょっとこれですね、
どんだけえぐいかというのを私なりにですね、つまりこういうことよねということでまとめましたので、1つ目、録音データに対するAPIということで、まずこちらのモデルは録音データとかですね。なので例えば
会議録とかのその文字起こしとかしたいんだったらもちろん使えますと。で、さらに
録音データに対してであれば認識ラベルがつきます。で、認識ラベル一応現在
サポート対象というかですね、最大3人までは間違いなく認識できますよと。それ
以上の場合は試験段階ですというような書かれ方をしています。先ほどで言うと
こちらですね、認識ができますよ。最大3
人の話者についてタイムスタンプが正確に識別できます。ただそれ以上の話者の場合
は試験段階なので、もちろん間違えることありますよと。出方としてスピーカー0、
スピーカー1[音楽]、スピーカー2というような書かれ方がするんですが、例えばスピーカー3、スピーカー4ってこう振られていった時にスピーカー5の人がもしかしたらそれスピーカー1の人が
話したことだよねってことがあるかもしれませんが、少なくとも試験段階ということは徐々に徐々にそのサポート範囲っていうのは広がっているんだろうなという風に感じますと。これは録音データに対する
ものが話者認識対応できるというような形ですね。そしてリアルタイム文字起こしに
対しても対応してて、それがライブAPIというような形になっています。で、この
2つ両方ともスマート起こしに対応してるというようなところでございます。これ
実際見てみますか?見ましょう皆さん。
GoogleAISTIOに行きます。そ
したらですね、GoogleAISTIOのトップページからご覧いただきましょうか。こちらGoogleAISTIOで
ございます。として私も昨日からずっと
このトランスクライブやってるので先にこうなっちゃいましたけどこちら押していただいておそらく最初ですね多分ジェミニ3.7フラッシュとかが選ばれているんじゃないかなと思いますがこのモデルのところをクリックいただいてそし
たらこのオーディオっていうところですねディオってところを押していただくとここにジェミニ3.5トランスブとこの下にジェミニ3.5トランスブライブというものがございますとそしたらまずジェミニ
3.5トランスクライブライからいきましょうか。で、これクリックして
いただくとこんな形になっていて、これ分かりますかね?ディテクトって書いて
あるので、ディテクトって名探偵コなんで私も覚えたんですけど、あれディテクティブボーイズじゃないですか。
なのでやっぱ探るってことなんでしょね。
ディテクトというのは。で、これを
ディテクトなのか、もしくはもう最初っから日本語ジャパニーズっていう風に指定するかですね。ま、ここは自由にして
いただいて結構かなと思います。そして
[音楽]これです。このスマート
ランスプtョン。これがまさにスマート
文字起こしなんですが、そしたらまずはスマートリプションやらない場合にしましょうか。やらない場合にどういう文章
が出てくるか。これ私がいつものように
喋りますね。いつものように喋っている
段階のをどんどんどんどん文字起こしされるのでそれご覧いただければと思います。このトークボタンを押していただいて
そうするとここに今コネクティングtoserverとなってます。で、その後
マイクがオンになって今まさに私話している段階でございます。そうすると
どんどんどんどんこれ今書かれてますよね。で、いわゆる私が喋っている言葉という
のがリアルタイムにどんどんどんどん文字起こしされていって、で、ちょっと一呼吸置くとこれが完全にこういった文字言いましたよねっていうような形で書かれます。で、今一呼置きました。そうすると
こんな形で文字というのがいわゆるセンテンスでしょうね。これでワン
センテンスですよねっていう形でこう出てくると。で、これがいわゆるスマート
ランスクリプションがない状態。一般的
な文字起こしに近いかなと思います。ただ
ああとかええーとかそういったものもですね、少しはいわゆるそういったフィラーとかもですね、結構省かれてるようには感じますね。こんな形です。結構な精度じゃ
ないですか?てかだ精度高いすよね。
分かります?例えばここで私がジェミニと
かって言ってもちゃんとジニはほら分かります?これちゃんとジェミニとして出て
くるわけですよ。とかあとは
ノートブックエム、あ、今だとジェミノートブックですかみたいな形を言ってもノートブックエレム今こうなりましたね。
これちょっとフィとどうなるか見てみましょうか。はい、分かります?
ノートブックエレムってちゃんとなりましたよ。こういったところがもうスマート
ランスクリプション入れてなくてもすでにスマート差がこう出てるわけですよね。では続いてこのスマート
ランスクリプションを試してみましょう。スマートトランスクリプションの場合は
先ほどのデモでもやってたようにいわゆる文脈がこうぶわーっとあった中でいやっぱさっきのはみたいなところを反映をしてくれる機能になっていますと。なので
例えばですよ、明日の打ち合わせですが、明日はですね、弊社から4人、いや、えっと、5人伺います。で、明日、え、土曜日ですけれども
、そこで打ち合わせた内容の技似録は、え、なるべく週明けのですね、火曜日、いや、うん、木曜日ぐらいまでもらっていいですかね。それまでには疑似6書かせて
いただければと思います。どうです皆さん
?分かります?まず明日の打ち合わせ、私
4人、いや、5人って言いましたと。そし
たらちゃんと5人伺いますと。で、そこで
打ち合わせた技似録は火用いや木曜までもらっていいですかって言ったらちゃんとそれが入ってくると。これがですねこの
スマートトランスクリプションなわけですよ。もう興奮でしょ?もう興奮ですよ。で
、さらにです。さらにそしたら今度は録音
されたモデルに対するトランスクライブもやってみましょうか。で、
トランスクライブの場合はここにスピーカーラベルズというものがオンにできるようになってます。いわゆる認識
ですね。で、ワードタイムスタンプという
ことで何分から何分の間にこういう音声が言われてるよねっていうタイムスタンプもしっかりと[音楽]入れてくれると。で、
もちろんその時にもフィラーとかを全部消したいなとかですね。あとは言い直し
てるところとかも全部綺麗にして欲しいなと思ったらスマートランスプションをオンにすればいいわけですね。今回使う音声は
過去にですね、私とX君がサンプル会議のですね、台本を読んだものになってまいります。ちょっとだけ聞きましょうか。
それでは帝国になりましたので新製品開発検討会議を始めます。本日は皆様から新製品のアイデアを出し合っていただき今後の開発につなげていきたいと考えています。活発な意見交換をお願いします。
はい。最近の市場調査の結果から消費者の健康思考はもます高まっていると言えるでしょう。特に
30代から40代のま、こんな形ですよ。明らかにワ車
1と車2がいるわけですよね。じゃあこれをこちらのトランスクライブモデルに聞かせていきましょう。そしたらですね、今の音声ファイルを渡します。
で、そうするともうこの速さで今4分ぐらいでしたけど、何トークンかってのがもう測られましたね。そして
トランスクライブという風にするとこれで今文字起こしかつスピーカーラベルがついてワードタイムスタンプがついて生成されるとできましたよ。そうするとこちら
ですね。それでは帝国になりましたので
新製品[音楽]開発検討会議を始めます。
本日は皆様からこれが02秒から016秒にスピーカー03が言いましたよねと。
そしてはい、最近の市場調査の結果からこれまさにX君が言ったやつですけどスピーカーラベルは完全に変わっていると。これはねすごいと思いますよ。この
モデルを使えばもう相当いい文字起こしもできますし、これですね、やっぱりこうリアルタイム文字起こし先ほどのライブAPIあっ[音楽]たじゃないですか、あれがすごく今後それこそ行政機関とかで
も役に立つだろうなと思っていて、最近ですね、弊社の方でもいろんな行政機関と仕事をさせていただく中で、例えば議会をこう見にくる市民[音楽]の方、区民の方、町民の方、様々な方いらっしゃると思い
ますが、その時に昇格の方にですね、障害がお持ちの方であればやは話していることかが文字起こしにリアルタイムに文字起こしされて表示されたらめちゃくちゃ便利じゃないですか?そう
いったところでももちろんこのモデルというのは使えますし、あとは窓口もそうですよね。窓口とかでやり取りをする時も
例えば窓口担当職員がお話をした時にそれが例えばディスプレイにどんどんどんどんこう文字が出ていったらですね、もちろんこちら側もお客様の方もあ、こういうこと言ってるんだなってことで分かるわけじゃ
ないですか。そういったやはり様々な言語
をツールとしてですね、このトランスクライブモデルというのは今後輝いていくんだろうなと思いますと。で、
めちゃくちゃ使いやすいっていうのがポイントですよね。スマート
ランスクリプションもついているので、それこそね、窓口の職員とかも言い直すことあると思うんですよ。その時にこう
文字で書かれた時に言い直しがあると、要は一方ではこちらに旦那様の名前をお書きください言われて、でもその後、あ、すいません。ここは奥様の名前でしたってなっ
た時にもうそこだけでノインプットされちゃうじゃないですか。で、そうすると
それで書こうと思ったらああ、こっちだったのねってなると思うんですね。でもこの
スマートトランスクリプションがあれば最終的な言い直された結果の文字が出来上がるのでそうすると多分5認識っていうのもなくなると思うんですよね。なの
で今後このジェミニ3.5トランスクライブというのはもちろん単なる疑似6の文字起こしとかもそうですしな方とのコミュニケーションツールとしても輝くと思うんですよ。これはね超
楽しい。是非皆さんGoogleAIST
から試してみてください。もう1度言い
ますけれども、このモデルのところ選んでいただいて、あの、別にオーディオにしなくてもいいですよ。例えばここのサーチ
のところにですね、トランスライブっていう風に入れていただければもう間違いなくヒットするので、で、このトランスクライブライブというのがいわゆるリアル[音楽]タイムです。
リアルタイム文字起こしに対応してます。
そして上の方は音声データという風に捉えていただければと思います。ただ録音され
た音声データなんですけど、実際トランスクライブの方もですね、リアルタイムな文字起こしではないんですけど、ここにですね、レコードオーディオというボタンも用意されています。なので、これ
から音声を取るという場合でもちろんオッケーです。なので事前に音声
データなかったとしてもレコードオーディオを押していただいて、で、もうこれでスタートレコーディングという風にすれば、ここ上で今私が喋るとこうやってなんかフワンファンファンファンってなっ
てるじゃないですか。これで今音声が取ら
れているような状態になりますので、こういった形で作ってもいいかなと思います。
ひまずですね、皆さん絶対に使ってください。で、使ったら100%感動し
ますから。で、この文字起こしのリアルさ
というか、正確さを元にあの業務だったら使えるかもとか、ああ、この業務で行けそうだなとかですね。どんどんどんどん
想像を膨らませていただければと思います。いずれこれがキャンバスに入ってきたら
どうですか?キャンバスに入ってきて
キャンバスAPIでこれ使えるようになったら皆さんの手で先ほどみたいなリアルタイム文字起こしツールとかもう作れますからね。GoogleAIスタジオだと
学習対処になってしまいますけれども、GoogleWestoaceを導入している事業者さんでキャンバスAPIの中にこのモデル入ってきたらこれもうやばいっすよね。是非皆さん楽しみにしていき
ましょう。A社ではですね、このような形
で今本当にどんどんどんどん生成AI業界って進化をしていて、で、Googleはやはり様々なデータを持っているからこそだと思いますけど、本当に面白いモデルをどんどんどんどん次から次に発表してい
ます。で、それはあくまでも我々に対して
こういうモデルできたよ、どうっていうのをこう示唆してくれてるわけですよね。で
、それを我々はですね、どういう分野で使えるかなっていうのをこう研究しながら、そしてこういったYouTubeを通して皆さんにお示しすることで皆さんのDX支援をお手伝いしております。気になる方
は概要欄にお問い合わせページございますので、お気軽にお問いただければと思います。このチャンネルでは今回
ジェミニトランスクライブ[音楽]モデルをご紹介させていただきましたが、Googleはですね、本当に多くのサービスを持っておりますし、日々どんどんどんどんそれも増えてます。そう
いったものをですね、1つでも多く取り上げて皆さんに情報提供できればと考えております。是非チャンネル登録
よろしくお願いいたします。ありがとう
ございました。またね。
す、あんことつぶで派じゃないですか。
圧倒的な派ですね。
の人は申し訳ないけどなくなればいいと思って派の人は過激派すぎるよ。
いやいやいやいやチャンネル視聴者層の半分ぐらい消えちゃうよ。
そんなことないね。多分70%つ派だよ。
30%消えるやんけ。
30%消える。ういやでもつぶ派になってくれればいいんだから。でもよ。タ焼きに腰入ってて嬉しい。粒でしょ。
[笑い][音楽]うん。それは粒がいい。
ドラ焼きは?
それは粒もそれは今川焼きは?
それも粒がいい。
粒やないかい?もう
赤服腰屋がいいもんね。
いや、赤服はだから腰屋しかないからでしょ。僕だから赤服はつぶを出せばいいと思う。
僕だから腰だから赤服ちょっと嫌いだもん。味は美味しいよ。それは認めるけどこれつだったらもっと美味しいのになってやっぱいつも思っちゃうから。
いや、餅ち食べる時に引っかかっちゃうからもちもちて感を楽しむのがあきなわけですよ。
赤くは餅ちも主役みたいなとこあるからね。あんも主役だけど餅ちも主役みたいなダブル主演だからが立っちゃうから粒があることによって
[音楽]粒があるのがあきなわけです。
今こういい感じのバランスで1対1の感じで今主役に慣れてるのにすぐ来ちゃったらもちからクレーム入っちゃうからを目指してますよねみたいなえ、じゃああなたが出ていけばいいんじゃない[笑い]
うちむ子だけで行けるんでみたいなあなたも本能的には粒なんでしょうね。
求めてるかな?
求めてると思いますよ。皆さん本気で考えてください。今後一切どっちか選んだらどっちかしか食べれないというのを考えた上で回答してほしい。どっちも食べそれはもうわがままです。
どっちかしか食べれないというのを頭の中で思いかべた時につぶなのか腰なのかも腰選んだ瞬間に今後のドラ焼きは全部腰だからね。今後のた焼きは全部星だからね。前在もだよ。
謎のアンケートを皆さん答えてください。
よろしくお願いします。お願いします。