皆さん、こんにちは。先生です。コ介先生
、普段こんなこともやってるので、気に
なる方はチェックしてみてください。今日
はですね、新たな化け物の生誕祭でござい
ます。ジェミニのトランスクライブモデル
というのができましたと。何かと言うと、
端的に言えば文字起こしです。テキストの
文字起こしモデルなんですが、こいつね、
やばい。めちゃくちゃやばいので、是非皆
さんご覧いただければと思います。
もう早速いきましょう。新たな化け物の
誕生ということでですね、今回ご紹介させ
ていただければと思います。今回ご紹介
するのはこちらジェミ
3.5トランスクライブというような
モデルになってきて、もうですね、
Googleが産んだ市場最高制度を誇る
音声認識モデルでございます。このモデル
はですね、もうインテリジェントな音声
対話のために、インテリジェントな音声
対話って何かなというようなことで、
単なる文字起こしもちろんできるんです
けど、[音楽]それだけではないっていう
のを後ほどですね、ご覧いただければと
思います。で、普通のものだとですね、
背景雑音とか、あと専門用語が出てくると
途端に違う言葉に変わっちゃったり、
もしくは例えばジェミニって言われたら
我々知ってるじゃないですか。Gniじゃ
ないですか。それカタカナでジェミって出
てきちゃったりだとかそういった部分に
こう補正っていう部分で課題を抱える従来
のモデルとはですね、もう[音楽]一戦を
隠してます。後ほどお見せしますけど本当
にえぐいですよ。これね、私ね、想像以上
にテンション上がってます。もう昨日これ
が発表されてからずっとGoogleAD
でこういう風に言ったらどうかな。ああ
いう風に言ったらめちゃくちゃ試してる。
それぐらいこのジェミ3.5
トランスクライブはAです。でも性格かつ
されたフォーマット済みテキストへ変換
する技術を実現しております。で、実際
この記事ですね、こちらも是非皆さんお
読みいただければと思います。もちろん
英語です。英語なので日本語にですね、私
のように翻訳していただいて、そうすると
ですね、色々この辺りにもリアルタイム
ストリーミングにも対応してるし、事前
録音された音声の処理もできると。で、
それの参考となるですね、こう動画みたい
なものがこう出てるわけですよ。で、この
人とかね、ちょっとだけ聞いてみましょう
か。
としたらまさに今ここに映ってるのがこれジェミのトランスクライブモデルで構築されたアプリケーションだと思いますが、今からこの人喋りますと、どれぐらいリアルタイムに文字が起こされていくかちょっと見ていきましょう。
3.5Transcribeliveis
ourlatestmodelfor
transcribingspein
realtime.It's
particularlygoodat
multilingual
transcription.SoI
canstartasentencein
English
分かりますか?
これ途中でしかも言語変わった時にそれで認識するわけですよ。デフォルトでもちろん日本語っていう風にやることもできるんですよ。
でもそうではなくて自動認識みたいな形に
すればこんな形でどんどんどんどん別の
言語でもできると。しかも今ほとんど遅延
なかったですよね。これぐらいで
トランスクライブできるわけです。で、
さらに先ほどスマートな文字起こしって
つまり何かと言うとですね、これちょっと
こちら見ていただくとこれがいわゆるその
ままのモードとこれスマートリプション
アクティブということで要はですね、
例えば話してる時に明日の会議は3人、あ
、いや4人で伺いますって言ったりする
じゃないですか。そしたら最終的に何人で
伺うんだって言ったら4人ですよね。そう
すると明日は4人で伺います。なるわけ
ですよ。それがいわゆるこのスマート
クリプションアクティブの状態ですね。
ちょっとこれデモみたいなものがあるので
見ていきましょう。Iwanta
largewithoట్milktwo
pumpsofhallelnutand
exrashandlighti
actallymakethehanut
intocaramelremove
theexrashandmakeit
regulariwanoiatall
changethesൈfromlge
tomedium
分かります?
これ左側は最初こう頼んでいたものに対してウェイトとノーアイスアイスはいらないよとで
changefrom
ラージからミディアムにというような形で最初にラージと言っているわけですよ。
でも最終的に、あ、やっぱミディアムに
変えてくださいって言ったら見てください
。これIwanta
medミディアムアイスドラテもうあ、
変わったんだったら最初のやつ変えちゃえ
ばいいやというような形でスマート
モジ起こしたらつまりこういうことなわけ
ですね。これすごくないですか?これ
しかもリアルタイムにどんどんどんどん
こう書き起こしながら最終的に綺麗なもの
にしてくれるっていう。これね、本当
えぐいですよ。で、ちょっとこれですね、
どんだけえぐいかというのを私なりにです
ね、つまりこういうことよねということで
まとめましたので、1つ目、録音データに
対する
APIということで、まずこちらのモデル
は録音データとかですね。なので例えば
会議録とかのその文字起こしとかしたいん
だったらもちろん使えますと。で、さらに
録音データに対してであれば認識ラベルが
つきます。で、認識ラベル一応現在
サポート対象というかですね、最大3人
までは間違いなく認識できますよと。それ
以上の場合は試験段階ですというような
書かれ方をしています。先ほどで言うと
こちらですね、認識ができますよ。最大3
人の話者についてタイムスタンプが正確に
識別できます。ただそれ以上の話者の場合
は試験段階なので、もちろん間違えること
ありますよと。出方としてスピーカー0、
スピーカー1[音楽]、スピーカー2と
いうような書かれ方がするんですが、
例えばスピーカー3、スピーカー4って
こう振られていった時にスピーカー5の人
がもしかしたらそれスピーカー1の人が
話したことだよねってことがあるかもしれ
ませんが、少なくとも試験段階ということ
は徐々に徐々にそのサポート範囲っていう
のは広がっているんだろうなという風に
感じますと。これは録音データに対する
ものが話者認識対応できるというような形
ですね。そしてリアルタイム文字起こしに
対しても対応してて、それがライブAPI
というような形になっています。で、この
2つ両方ともスマート起こしに対応してる
というようなところでございます。これ
実際見てみますか?見ましょう皆さん。
GoogleAISTIOに行きます。そ
したらですね、GoogleAISTIO
のトップページからご覧いただきましょう
か。こちらGoogleAISTIOで
ございます。として私も昨日からずっと
このトランスクライブやってるので先に
こうなっちゃいましたけどこちら押して
いただいておそらく最初ですね多分
ジェミニ3.7フラッシュとかが選ばれて
いるんじゃないかなと思いますがこの
モデルのところをクリックいただいてそし
たらこのオーディオっていうところですね
ディオってところを押していただくとここ
にジェミニ3.5トランスブとこの下に
ジェミニ3.5トランスブライブという
ものがございますとそしたらまずジェミニ
3.5トランスクライブライからいき
ましょうか。で、これクリックして
いただくとこんな形になっていて、これ
分かりますかね?ディテクトって書いて
あるので、ディテクトって名探偵コなんで
私も覚えたんですけど、あれ
ディテクティブボーイズじゃないですか。
なのでやっぱ探るってことなんでしょね。
ディテクトというのは。で、これを
ディテクトなのか、もしくはもう最初
っから日本語ジャパニーズっていう風に
指定するかですね。ま、ここは自由にして
いただいて結構かなと思います。そして
[音楽]これです。このスマート
トランスプtョン。これがまさにスマート
文字起こしなんですが、そしたらまずは
スマートリプションやらない場合にし
ましょうか。やらない場合にどういう文章
が出てくるか。これ私がいつものように
喋りますね。いつものように喋っている
段階のをどんどんどんどん文字起こしさ
れるのでそれご覧いただければと思います
。このトークボタンを押していただいて
そうするとここに今コネクティングto
serverとなってます。で、その後
マイクがオンになって今まさに私話して
いる段階でございます。そうすると
どんどんどんどんこれ今書かれてますよね
。で、いわゆる私が喋っている言葉という
のがリアルタイムにどんどんどんどん
文字起こしされていって、で、ちょっと一
呼吸置くとこれが完全にこういった文字
言いましたよねっていうような形で書かれ
ます。で、今一呼置きました。そうすると
こんな形で文字というのがいわゆる
センテンスでしょうね。これでワン
センテンスですよねっていう形でこう出て
くると。で、これがいわゆるスマート
トランスクリプションがない状態。一般的
な文字起こしに近いかなと思います。ただ
ああとかええーとかそういったものもです
ね、少しはいわゆるそういったフィラーと
かもですね、結構省かれてるようには感じ
ますね。こんな形です。結構な精度じゃ
ないですか?てかだ精度高いすよね。
分かります?例えばここで私がジェミニと
かって言ってもちゃんとジニはほら分かり
ます?これちゃんとジェミニとして出て
くるわけですよ。とかあとは
ノートブックエム、あ、今だとジェミ
ノートブックですかみたいな形を言っても
ノートブックエレム今こうなりましたね。
これちょっとフィとどうなるか見てみ
ましょうか。はい、分かります?
ノートブックエレムってちゃんとなりまし
たよ。こういったところがもうスマート
トランスクリプション入れてなくても
すでにスマート差がこう出てるわけですよ
ね。では続いてこのスマート
トランスクリプションを試してみましょう
。スマートトランスクリプションの場合は
先ほどのデモでもやってたようにいわゆる
文脈がこうぶわーっとあった中でいや
やっぱさっきのはみたいなところを反映を
してくれる機能になっていますと。なので
例えばですよ、
明日の打ち合わせですが、明日はですね、
弊社から4人、いや、えっと、5人伺い
ます。で、明日、え、土曜日ですけれども
、そこで打ち合わせた内容の技似録は、え
、なるべく週明けのですね、火曜日、いや
、うん、木曜日ぐらいまでもらっていい
ですかね。それまでには疑似6書かせて
いただければと思います。どうです皆さん
?分かります?まず明日の打ち合わせ、私
4人、いや、5人って言いましたと。そし
たらちゃんと5人伺いますと。で、そこで
打ち合わせた技似録は火用いや木曜まで
もらっていいですかって言ったらちゃんと
それが入ってくると。これがですねこの
スマートトランスクリプションなわけです
よ。もう興奮でしょ?もう興奮ですよ。で
、さらにです。さらにそしたら今度は録音
されたモデルに対するトランスクライブも
やってみましょうか。で、
トランスクライブの場合はここに
スピーカーラベルズというものがオンに
できるようになってます。いわゆる認識
ですね。で、ワードタイムスタンプという
ことで何分から何分の間にこういう音声が
言われてるよねっていうタイムスタンプも
しっかりと[音楽]入れてくれると。で、
もちろんその時にもフィラーとかを全部
消したいなとかですね。あとは言い直し
てるところとかも全部綺麗にして欲しいな
と思ったらスマートランスプションをオン
にすればいいわけですね。今回使う音声は
過去にですね、私とX君がサンプル会議の
ですね、台本を読んだものになってまいり
ます。ちょっとだけ聞きましょうか。
それでは帝国になりましたので新製品開発検討会議を始めます。本日は皆様から新製品のアイデアを出し合っていただき今後の開発につなげていきたいと考えています。活発な意見交換をお願いします。
はい。最近の市場調査の結果から消費者の健康思考はもます高まっていると言えるでしょう。特に
30代から40代の
ま、こんな形ですよ。明らかにワ車
1と車2
がいるわけですよね。じゃあこれをこちらのトランスクライブモデルに聞かせていきましょう。そしたらですね、今の音声ファイルを渡します。
で、そうするともうこの速さで今4分
ぐらいでしたけど、何トークンかってのが
もう測られましたね。そして
トランスクライブという風にするとこれで
今文字起こしかつスピーカーラベルがつい
てワードタイムスタンプがついて生成さ
れるとできましたよ。そうするとこちら
ですね。それでは帝国になりましたので
新製品[音楽]開発検討会議を始めます。
本日は皆様からこれが02秒から016秒
にスピーカー03が言いましたよねと。
そしてはい、最近の市場調査の結果から
これまさにX君が言ったやつですけど
スピーカーラベルは完全に変わっていると
。これはねすごいと思いますよ。この
モデルを使えばもう相当いい文字起こしも
できますし、これですね、やっぱりこう
リアルタイム文字起こし先ほどのライブ
APIあっ[音楽]たじゃないですか、
あれがすごく今後それこそ行政機関とかで
も役に立つだろうなと思っていて、最近
ですね、弊社の方でもいろんな行政機関と
仕事をさせていただく中で、例えば議会を
こう見にくる市民[音楽]の方、区民の方
、町民の方、様々な方いらっしゃると思い
ますが、その時に昇格の方にですね、障害
がお持ちの方であればやは話していること
とかが文字起こしにリアルタイムに
文字起こしされて表示されたら
めちゃくちゃ便利じゃないですか?そう
いったところでももちろんこのモデルと
いうのは使えますし、あとは窓口もそう
ですよね。窓口とかでやり取りをする時も
例えば窓口担当職員がお話をした時にそれ
が例えばディスプレイにどんどんどんどん
こう文字が出ていったらですね、もちろん
こちら側もお客様の方もあ、こういうこと
言ってるんだなってことで分かるわけじゃ
ないですか。そういったやはり様々な言語
をツールとしてですね、この
トランスクライブモデルというのは今後
輝いていくんだろうなと思いますと。で、
めちゃくちゃ使いやすいっていうのが
ポイントですよね。スマート
トランスクリプションもついているので、
それこそね、窓口の職員とかも言い直す
ことあると思うんですよ。その時にこう
文字で書かれた時に言い直しがあると、要
は一方ではこちらに旦那様の名前をお書き
ください言われて、でもその後、あ、すい
ません。ここは奥様の名前でしたってなっ
た時にもうそこだけでノインプットされ
ちゃうじゃないですか。で、そうすると
それで書こうと思ったらああ、こっちだっ
たのねってなると思うんですね。でもこの
スマートトランスクリプションがあれば
最終的な言い直された結果の文字が
出来上がるのでそうすると多分5認識って
いうのもなくなると思うんですよね。なの
で今後このジェミニ3.5
トランスクライブというのはもちろん
単なる疑似6の文字起こしとかもそうです
しな方とのコミュニケーションツールとし
ても輝くと思うんですよ。これはね超
楽しい。是非皆さんGoogleAIST
から試してみてください。もう1度言い
ますけれども、このモデルのところ選んで
いただいて、あの、別にオーディオにし
なくてもいいですよ。例えばここのサーチ
のところにですね、トランスライブって
いう風に入れていただければもう間違い
なくヒットするので、で、この
トランスクライブライブというのが
いわゆるリアル[音楽]タイムです。
リアルタイム文字起こしに対応してます。
そして上の方は音声データという風に捉え
ていただければと思います。ただ録音され
た音声データなんですけど、実際
トランスクライブの方もですね、リアル
タイムな文字起こしではないんですけど、
ここにですね、レコードオーディオという
ボタンも用意されています。なので、これ
から音声を取るという場合でも
もちろんオッケーです。なので事前に音声
データなかったとしてもレコード
オーディオを押していただいて、で、もう
これでスタートレコーディングという風に
すれば、ここ上で今私が喋るとこうやって
なんかフワンファンファンファンってなっ
てるじゃないですか。これで今音声が取ら
れているような状態になりますので、こう
いった形で作ってもいいかなと思います。
ひまずですね、皆さん絶対に使って
ください。で、使ったら100%感動し
ますから。で、この文字起こしのリアルさ
というか、正確さを元にあの業務だったら
使えるかもとか、ああ、この業務で行け
そうだなとかですね。どんどんどんどん
想像を膨らませていただければと思います
。いずれこれがキャンバスに入ってきたら
どうですか?キャンバスに入ってきて
キャンバスAPIでこれ使えるようになっ
たら皆さんの手で先ほどみたいなリアル
タイム文字起こしツールとかもう作れます
からね。GoogleAIスタジオだと
学習対処になってしまいますけれども、
GoogleWestoaceを導入して
いる事業者さんでキャンバスAPIの中に
このモデル入ってきたらこれもうやばいっ
すよね。是非皆さん楽しみにしていき
ましょう。A社ではですね、このような形
で今本当にどんどんどんどん生成AI業界
って進化をしていて、で、Googleは
やはり様々なデータを持っているからこそ
だと思いますけど、本当に面白いモデルを
どんどんどんどん次から次に発表してい
ます。で、それはあくまでも我々に対して
こういうモデルできたよ、どうっていうの
をこう示唆してくれてるわけですよね。で
、それを我々はですね、どういう分野で
使えるかなっていうのをこう研究しながら
、そしてこういったYouTubeを通し
て皆さんにお示しすることで皆さんのDX
支援をお手伝いしております。気になる方
は概要欄にお問い合わせページございます
ので、お気軽にお問いただければと思い
ます。このチャンネルでは今回
ジェミニトランスクライブ[音楽]
モデルをご紹介させていただきましたが、
Googleはですね、本当に多くの
サービスを持っておりますし、日々
どんどんどんどんそれも増えてます。そう
いったものをですね、1つでも多く
取り上げて皆さんに情報提供できればと
考えております。是非チャンネル登録
よろしくお願いいたします。ありがとう
ございました。またね。
す、あんことつぶで派じゃないですか。
圧倒的な派ですね。
の人は申し訳ないけどなくなればいいと思って派の人は
過激派すぎるよ。
いやいやいやいや
チャンネル視聴者層の半分ぐらい消えちゃうよ。
そんなことないね。多分70%つ派だよ。
30%消えるやんけ。
30%
消える。ういやでもつぶ派になってくれればいいんだから。でもよ。タ焼きに腰入ってて嬉しい。粒でしょ。
[笑い]
[音楽]
うん。それは粒がいい。
ドラ焼きは?
それは粒も
それは今川焼きは?
それも粒がいい。
粒やないかい?もう
赤服腰屋がいいもんね。
いや、赤服はだから腰屋しかないからでしょ。僕だから赤服はつぶを出せばいいと思う。
僕だから腰だから赤服ちょっと嫌いだもん。味は美味しいよ。それは認めるけどこれつだったらもっと美味しいのになってやっぱいつも思っちゃうから。
いや、餅ち食べる時に引っかかっちゃうからもちもちて感を楽しむのがあきなわけですよ。
赤くは餅ちも主役みたいなとこあるからね。あんも主役だけど餅ちも主役みたいなダブル主演だからが立っちゃうから粒があることによって
[音楽]
粒があるのがあきなわけです。
今こういい感じのバランスで
1対1
の感じで今主役に慣れてるのにすぐ来ちゃったらもちからクレーム入っちゃうからを目指してますよねみたいな
え、じゃああなたが出ていけばいいんじゃない
[笑い]
うちむ子だけで行けるんでみたいな
あなたも本能的には粒なんでしょうね。
求めてるかな?
求めてると思いますよ。皆さん本気で考えてください。今後一切どっちか選んだらどっちかしか食べれないというのを考えた上で回答してほしい。どっちも食べそれはもうわがままです。
どっちかしか食べれないというのを頭の中で思いかべた時につぶなのか腰なのかも腰選んだ瞬間に今後のドラ焼きは全部腰だからね。今後のた焼きは全部星だからね。前在もだよ。
謎のアンケートを皆さん答えてください。
よろしくお願いします。お願いします。