対話型AIチャットGPTを手掛けるアメリカのOpenAIは9月3日新型AIモデルGPT6アASRAの提供を始めたと発表しました。
一部の顧客向けに提供開始し、数日以内に有料プラン利用者や法人向けにも展開します。
アストラは高度な数学的な論理水論能力などで競豪他者の先端モデルを上回る性能を示したということです。
一方でアストラはサイバー攻撃への悪用の恐れがあると判断され、車内でも最も厳しいサイバーセキュリティ基準クリティカルに初めて分類されました。
このため開発が一時的に停止された経緯があります。
OpenAIは提供にあたり悪用を防ぐ保護対策を大幅に強化したとしています。
はい、こんにちは。え、日経BPAI
データボの中田です。え、今日はここから
OPENAIがこの前リリースした、え、GPT6ASRAについて解説しようと思います。ま、正直日本[鼻息]で
あんまり盛り上がってないと思うんですよ。なんかこれすごいなとかすごいものが
リリースされたみたいに話題にしているSNSの人がそんなにいるわけでもないんですけども、これ結局今アストラで何が1番強化されたかっていうところに尽きると思うんですね。結局アストラって、ま、
1番のメインはコーディング能力の強化なんですね。だからアストラのすさっていう
のが本当に体感できる人って、ま、今の時点でアストラの利用が許可されてるものすごいごくごく一部の組織、ま、会社とかそういったところに務めていてかつコーディングに実際に使った人じゃないと
これすごいなみたいな感想の持ち用がないんですよ。で、もう1つはこれも重要な
ことなんですけども、チャatトGPTで普通にあの、WebにあるチャットGPTとかあとスマホのチャatトGPTアプリで使ってる分にはどこがすごくなったのかみたいなのを感じづらいところになってる
んですね。要はコーデックっ
ていうコーディングエージェントを使って初めてそのコーディング能力の高さが実感できるみたいなところになると。で、え、
結局今アストラがすごいっていう話になってるんですけども、本当にそうなのかなみたいなところもあるんですよ。要はそれ
と同時にOpenAIはコーデックスというコーディングエージェントのいわゆるハーネスですね。ま、AIエージェントを
実装する上でのLLM以外の全ての周りのものをハーネスと呼んでツールを動かしたり、ま、そのツールの中には実際にパソコンの中で稼働しているウェブラウザーだとかいろんなアプリだとかがあるんですけど、そういう通路を動かし
たり、どっかのシステムに連携したり、データを持ってきたり、ファイルを書き込んだり、ファイルを編集したりみたいなも諸々の仕組みが全部ハーネスと呼ばれるんですけども、そこの部分の性能工場がいわゆるアストラと呼ばれるものの
性能向上に非常に強く貢献しているというところがあるので、ま、要はコデックスを使ってコーディングをしないとそのすごさが分からないと。そして私もコーディング
をやらないので[鼻息]今1[笑い]つ、ま、強さを実感できないみたいな状況にあるというところなんですね。アストラの
性能がどれぐらいすごくなったかっていうのでOpenAIのその発表したベンチマークの数字を全部こう読み上げてこれはすごいことですって説明してもいいんですけども、ま、そんなんやってもしょうが
ないというか、あの、あくまでベンチマークの数値なんで、そういうもんだと他のに比べてこれぐらい上がったっていう風に思っとけばいいんですが、その中でも僕がやっぱり今回1番すごいなと思ったのは
ARAGIのARAGIベンチマークのバージョ3というのがもうこれ溶けてしまったっていうところ。ここだけは僕本当にすごいと
は思ってるんですね。このアークAGI
っていうのはAIが初見で問題、ま、何か解決しなくていけない問題に出会ってこの問題は何なんだろうって観察して問題を特定してそれを解くっていう一連の能力を図る、ま、論理的な思考能力を図る、ま、
ベンチマークなんですね。ただそこにもう
1つ要素が載ってきて、人間だったら確実に要因に解ける問題なんだけども、AIには解けないみたいな問題を解かせるということに特化したベンチマークになります。
で、元々、えー、ま、どんなベンチマークがあるかっていうとゲームを溶かせるベンチマークなんですよ。で、ゲームの
ルールとかは何も伝えません。思考錯誤を
して、あ、このゲームっていうのは例えばなんか似たようなパズルを選ぶゲームだなとか、あとなんかまあ50代ぐらいアラフィじゃないとわかんないかもしれないんですが、大昔のゲームで倉庫版っていうゲームがあって、こう
荷物をどうやって動かしていくとその倉庫から荷物をこうやって取り出せるのかみたいなゲームがあるんですけども、そういうようなのに似たゲームをポンと出してで、これのゲームのゴールは何かって考え
させて溶解せるとかそういうタイプのゲーム、ま、初見のゲームをひたすらAIに溶かせて解けるかどうかっていうのを見るベンチマークなんですね。で、この
ベンチマーク、え、2024年にONAIの1っていう、ま、リーゾニングモデル、え、ま、論理し、論理水論のモデルが出るまで全然解けなかったんですよ。それ
ぐらいすごい難しい。Llò規模言語
モデルが得意とするタスクの性能を測るベンチマークだったんですね。このアークAI
ベンチマークの今までのそのGPTモデルの性能って、え、GPT5.6ソロだと、え、本当に1桁だったのが今回のアストラで、まあ99.9%まで解けるようになったっていう話になったんですね。で、これ
何が、ま、すごいのかと言うと、あの、僕が企画しているAIリーダーズ会議というですね、イベントがありまして、前回3月に、え、このアークAGIを企画しているフランソアショレさんというAI研究者の
方を招きをしたんで、ま、それでちょっと詳しいというところがあるんですが、このARAGIが目指してるものはその流動的知能と呼ばれるようなものを、え、測ることなんですね。で、このAGI、ま、
汎用人口知能に必要な要素の1つとしてフランス書類さんは流動的知能ってものがいると。で、この流動的知能っていうのは
決められたことを決められた手段でこうこなしていけるようなパターンをこなしていける知能ではなくて、ま、そういうのはスキルに過ぎないみたいなや方してるんですけども、全く体験したことがない、
全然知らない状況を見て解けるようになるっていう非常に難しい。でも人間はそれ
やって生きてるわけですね。で、それが
できるかできないかを図るもので、これが解けるようになったということで、その論理的な思考能力っていうのが1段上がって、で、いろんなところに、え、このすさっていうのを適用できる準備が整ってき
たんじゃないかなという風に思っています。これが、え、なんで今このタイミングで
アークAGIのスコアがドーンと上がったのかっていうところのポイントもやっぱりハーネスなんですよ。その実際ベンチ
マークでもそのアクAgi側が用意している標準ハーネスっていうものがあって標準ハーネスを使うと正当率60%台なんだけどもその、え、オープンAIがカリカリにチューンしたアークAIを解く
ためのハーネスを使うと99.9%まで上がるみたいなことが言われてると。で、
じゃ、どんなハーネスをこのために用意しているのかと言うと、その実際にその問題っていうのが、ま、画像で表されるクイズ問題というかゲームなんで、それを理解するためのツールを作る能力みたいな画像
を認識してゲームがどんなものを捉えるかみたいな能力、ツールを作るだとか、他にもその、えー、計算するツールだとか、そういういろんなツールを作れる能力っていうのをハーネス側で備えてで、この
ゲームを解くためにどのツールを作れば良さそうだみたいなことを判断する能力みたいなところもハーネスに仕込んで、その上でアストラがそのハーネスを利用していると非常に難しい問題でもじっくり
観察して自分が何をすべきか理解してその何をすべきかに必要な通路を作ってでそれを使いこなして実際問題を解くっていうことができるようになったと。ま、
LLMも頑張る、ハーネスも頑張るっていうところが合わさったので難しい、今まで解けなかった問題が解けるようになったよというところだと思ってます。
今回そのOPAIがこの6に関してサイバーセキュリティの車内基準を初めてクリティカルに設定したっていう話がありました。
で、ま、昨いわゆるそのAIのセキュリティというか、サイバーセキュリティ上の問題ってどうなったみたいなところありますけど、その点に関して今回のアストラどう見られてますかね?
ま、あの、今回アストラのリースに対してセキュリティ、ま、サイバーセキュリティの観点でオープンAIが色々と言及してるんですけども、それはこの、ま、アストラの開発定でやらかしてしまったからというのに尽きると思うんですね。禁止されてるそのわゆるレールですね。
やっちゃいけないことっていうのを決める仕組み、システム的な仕組みを脱走して脱獄して色々やらかしてしまいましたよっていう事実があるんで、みんな世界中がまたやらかすんじゃないのって心配してる
ので、ちゃんと、え、ガードレールも新しいもの作りましたし、テストもしましたよみたいなことを言っているというところだとは思います。で、この辺りも
結局ツールを使いこなせるようになったっていう問題ではあるんで、ハーネス的なところの発想に非常に近いものがあると思うんですね。単にLLMがなんか賢く
なっただけじゃなくって、いろんなツールを使いこなせるようになった結果、ま、脱獄みたいなこともできるようになったし、なんか知らん、初めて見るサイトにアクセスしてそこの静性を見つけた上で
そこに侵入するみたいなこともできるようになったっていうところだと思います。今後のいわゆるこのAモデルの競争
みたいなところも含めてどこら辺がポイントになってくるか展望教えてもらってもいいです。そうですね。ま、やっぱり
当面はコーディング能力に尽きると思うんですね。オープンAIもアンソロピックも
その他、え、LLMを提供してる企業がどれだけコーティング能力を伸ばせるのかっていうところがLLMの性能競争、AIエージェントの、ま、要はハーネスコミのAIエージェントの性能競争を決めると僕は思っています。ま、僕が思っ
てるというよりもこの間だジェフディンさんがそう言ってたんですよね。
このジェグディンさんというのは常に長くGoogleの技術リーダーをめていた、ま、本当にもう伝説のエンジニアで8月に8月の上旬にGoogleをやめて自分のディスカバリーループっスタートアップを起業するっていうので、え、発表した人なんですけども、その人がディスカバリー
ループを作るためにGoogleを卒業するよって発表した3日後かな、2日後か3日後に公演を行ったんですね。スタン、えっと、リコンバレイで。
そん時に彼が言ってたのはそのコーディング能力っていうのを、ま、Googleのジェミニで強化するっていうのにフォーカスするのにや遅れたっていうところが、ま、ジェミニがちょっと今、まあ、なんと言いますか、え、リードさ
れている要因なんじゃないかなというニュアンスの発言をしたんですよ。
で、アンソロピックもオープンAIもコーディング能力を向上させるぞっていうところに一早く注力したことが、ま、非常に重要だったって言ってるんですが、なんでコーディング能力が重要かというと、
コーディング能力が向上するとコーディング以外の能力も向上するっていうことが分かったからなんですね。
で、なんでこんなことが起きるのかと言うと、コーディング能力を強化すると何か大きな問題、難しい問題っていうのがあった時にその問題を小さな問題、サブ問題に分割してそれぞれの問題、小さい問題を
解いてそれをマジしてそれで本当に大きな問題が解けるのっていうのを検証して、で、なんか問題があったらまた改善してみたいなループを回す能力が向上すると。
だからコーディング以外の世界中にあるいろんな複雑な問題を解く能力がこれ成長するというようなことからコーディング能力をこう上げるとそれこそ法律ホームの問題を解くだとか財務の問題を解くだとか
マーケティングだなんだとで数学の問題だとか科学の問題を解くんだみたいなところの能力をが向上していくというところでここが非常に重要だと言ってるんですね。
ま、結局なんでコーディング能力が向上すると論理的な思考能力、問題解決能力が向上したのかっていうところが僕ポイントだと思うんですね。で、これあくまで僕の
、ま、仮説レベルの話なんですけれども、ポイントはトレーニングデータにあったと思うんですよ。今日はコーディング能力を
向上させるためのLLMのAIモデルのトレーニングデータって何だ?何だった
かって言うと、おそらくはそのギithubとかあと車内ギットとかで蓄積されているデータだったと思うんですね。で、
こういうそのギithubで管理されている情報データってそのプログラムのソースコードだけじゃないんですよ。
そのギitubに登録されてるものって要は何かそのソフトウェアに問題が発生しましたよっていう時にその問題を解決するために何をすべきかかっていうのを人間が考えてそれを意種っていう単位で登録する
わけですね。で、その意種っていうのを
解決するために、え、みんながソースコードを改善しました。で、改善したら
それをプルリクエストっていうの投げてこれ本体のコードにマージしてくれておうをするんですね。で、そのプルリクエスト
が来たらデビューアーっていうソースコードをチェックする人がちゃんと改善されてるのかチェックしてで改善されてなかったら戻してまた直してレビューしてオケーってなったらそれを本体の行動に
マージしますっていう一連のその改善プロセスの全てのなんというか履歴が残ってるわけですよ。で、これを学習させてる
とすると、ソフトウェア開発者、優れたソフトウェア開発者の仕事をした家庭全部がトレーニングデータになってるということは、AIは優れたソフトウェア開発者のやり口、考え方、仕事の仕方っていうの
が学べるので、だからコーディング以外の問題を分割して改善していくっていう能力が高まったんじゃないかなという風に思っています。となると今後コーディング以外
のいろんな仕事ができるAIエージェントLLMを作っていく上で何が重要になるかってやっぱり僕データだと思ってるんですよ。要はいろんな専門家が仕事をする
その家庭のデータってGitubにはソフトウェア開発にはギッドハブに残されてるんですけども他の仕事多分ないと思うんですね。で、弁護士の先生が訴訟のため
の準備を行うなんかシステムのログとかってあんまないと思うんですよ。その結果
どうしたか、会計の専門家がどうしたとかてことないと思うんですね。だから今その
オープンAIみたいなフロンティアラボと言われるAIモデルの開発組織はそこのデータを取りに行ってるんですよ。具体的
にはそのスケールAIみたいな専門家にトレーニングデータの作成を依頼する会社っていうのがあるんですが、そこに依頼して医者とか弁護士とかその金融の専門家のクオン津とかそういう人たちを時給
200ドルとか250ドルで雇ってで法律家が仕事にする上で作ってるデータというか法律化に実際の仕事をさせてそれをデータとしてアップロードしてもらいますよとかお医者さんに新電を読ませてここ
から何を見ますかみたいなのを記録してもらうとかあとはAIモデルは実際にこうCTスキャンの画像を診断した結果とかを見せてそれを添索してもらうだとかそういうような仕事を今大量にさせてその
データがえ学習に使われ始めてるんですね。だから今メタがこな間だ、え、ミューズ
スパークっていうのをどんどんバージョンアップさせていて、それの性能がすごく上がってるんですけども、この背景にはそのさっき言ったSKAIっていう教師データの作成サービスの創業者をしてる
アレクサンドルンっていう人が去年メタのAI開発のトップになったんですよ。教子
データを作るサービスの会社のトップが創業者がメタのAI回数のトップになったらメタのAIモデルの性能がすごく上がったっていうことを考えると多分データの力が効いてきてると思うんですね。
なので、よりろんな専門領域で教育データが蓄積されて、それがトレーニングに回れば回るほど、今言ってなとか医療だとか金融だとかそういったところの能力がこの先どんどんどんどん上がってきて適用領域が増えていくんじゃないかなと思ってるので、ここの部分非常にこれから注目していきたいという風に思っております。