対話型AIチャットGPTを手掛ける
アメリカのOpenAIは9月3日新型
AIモデルGPT6アASRAの提供を
始めたと発表しました。
一部の顧客向けに提供開始し、数日以内に
有料プラン利用者や法人向けにも展開し
ます。
アストラは高度な数学的な論理水論能力
などで競豪他者の先端モデルを上回る性能
を示したということです。
一方でアストラはサイバー攻撃への悪用の
恐れがあると判断され、車内でも最も
厳しいサイバーセキュリティ基準
クリティカルに初めて分類されました。
このため開発が一時的に停止された経緯が
あります。
OpenAIは提供にあたり悪用を防ぐ
保護対策を大幅に強化したとしています。
はい、こんにちは。え、日経BPAI
データボの中田です。え、今日はここから
OPENAIがこの前リリースした、え、
GPT6ASRAについて解説しようと
思います。ま、正直日本[鼻息]で
あんまり盛り上がってないと思うんですよ
。なんかこれすごいなとかすごいものが
リリースされたみたいに話題にしている
SNSの人がそんなにいるわけでもないん
ですけども、これ結局今アストラで何が
1番強化されたかっていうところに尽きる
と思うんですね。結局アストラって、ま、
1番のメインはコーディング能力の強化な
んですね。だからアストラのすさっていう
のが本当に体感できる人って、ま、今の
時点でアストラの利用が許可されてる
ものすごいごくごく一部の組織、ま、会社
とかそういったところに務めていてかつ
コーディングに実際に使った人じゃないと
これすごいなみたいな感想の持ち用がない
んですよ。で、もう1つはこれも重要な
ことなんですけども、チャatトGPTで
普通にあの、WebにあるチャットGPT
とかあとスマホのチャatトGPTアプリ
で使ってる分にはどこがすごくなったのか
みたいなのを感じづらいところになってる
んですね。要はコーデックっ
ていうコーディングエージェントを使って
初めてそのコーディング能力の高さが実感
できるみたいなところになると。で、え、
結局今アストラがすごいっていう話になっ
てるんですけども、本当にそうなのかな
みたいなところもあるんですよ。要はそれ
と同時にOpenAIはコーデックスと
いうコーディングエージェントのいわゆる
ハーネスですね。ま、AIエージェントを
実装する上でのLLM以外の全ての周りの
ものをハーネスと呼んでツールを動かし
たり、ま、そのツールの中には実際に
パソコンの中で稼働しているウェブ
ブラウザーだとかいろんなアプリだとかが
あるんですけど、そういう通路を動かし
たり、どっかのシステムに連携したり、
データを持ってきたり、ファイルを
書き込んだり、ファイルを編集したり
みたいなも諸々の仕組みが全部ハーネスと
呼ばれるんですけども、そこの部分の性能
工場がいわゆるアストラと呼ばれるものの
性能向上に非常に強く貢献しているという
ところがあるので、ま、要はコデックスを
使ってコーディングをしないとそのすごさ
が分からないと。そして私もコーディング
をやらないので[鼻息]今1[笑い]つ、
ま、強さを実感できないみたいな状況に
あるというところなんですね。アストラの
性能がどれぐらいすごくなったかっていう
のでOpenAIのその発表したベンチ
マークの数字を全部こう読み上げてこれは
すごいことですって説明してもいいんです
けども、ま、そんなんやってもしょうが
ないというか、あの、あくまでベンチ
マークの数値なんで、そういうもんだと他
のに比べてこれぐらい上がったっていう風
に思っとけばいいんですが、その中でも僕
がやっぱり今回1番すごいなと思ったのは
ARAGIのARAGIベンチマークの
バージョ
3というのがもうこれ溶けてしまったって
いうところ。ここだけは僕本当にすごいと
は思ってるんですね。このアークAGI
っていうのはAIが初見で問題、ま、何か
解決しなくていけない問題に出会ってこの
問題は何なんだろうって観察して問題を
特定してそれを解くっていう一連の能力を
図る、ま、論理的な思考能力を図る、ま、
ベンチマークなんですね。ただそこにもう
1つ要素が載ってきて、人間だったら確実
に要因に解ける問題なんだけども、AIに
は解けないみたいな問題を解かせるという
ことに特化したベンチマークになります。
で、元々、えー、ま、どんなベンチマーク
があるかっていうとゲームを溶かせる
ベンチマークなんですよ。で、ゲームの
ルールとかは何も伝えません。思考錯誤を
して、あ、このゲームっていうのは例えば
なんか似たようなパズルを選ぶゲームだな
とか、あとなんかまあ
50代ぐらいアラフィじゃないとわかん
ないかもしれないんですが、大昔のゲーム
で倉庫版っていうゲームがあって、こう
荷物をどうやって動かしていくとその倉庫
から荷物をこうやって取り出せるのか
みたいなゲームがあるんですけども、そう
いうようなのに似たゲームをポンと出して
で、これのゲームのゴールは何かって考え
させて溶解せるとかそういうタイプの
ゲーム、ま、初見のゲームをひたすらAI
に溶かせて解けるかどうかっていうのを
見るベンチマークなんですね。で、この
ベンチマーク、え、2024年にONAI
の1っていう、ま、リーゾニングモデル、
え、ま、論理し、論理水論のモデルが出る
まで全然解けなかったんですよ。それ
ぐらいすごい難しい。Llò規模言語
モデルが得意とするタスクの性能を測る
ベンチマーク
だったんですね。このアークAI
ベンチマークの今までのそのGPTモデル
の性能って、え、GPT5.6ソロだと、
え、本当に1桁だったのが今回のアストラ
で、まあ99.9%まで解けるようになっ
たっていう話になったんですね。で、これ
何が、ま、すごいのかと言うと、あの、僕
が企画しているAIリーダーズ会議という
ですね、イベントがありまして、前回3月
に、え、このアークAGIを企画している
フランソアショレさんというAI研究者の
方を招きをしたんで、ま、それでちょっと
詳しいというところがあるんですが、この
ARAGIが目指してるものはその流動的
知能と呼ばれるようなものを、え、測る
ことなんですね。で、このAGI、ま、
汎用人口知能に必要な要素の1つとして
フランス書類さんは流動的知能ってものが
いると。で、この流動的知能っていうのは
決められたことを決められた手段でこう
こなしていけるようなパターンをこなして
いける知能ではなくて、ま、そういうのは
スキルに過ぎないみたいなや方してるん
ですけども、全く体験したことがない、
全然知らない状況を見て解けるようにな
るっていう非常に難しい。でも人間はそれ
やって生きてるわけですね。で、それが
できるかできないかを図るもので、これが
解けるようになったということで、その
論理的な思考能力っていうのが1段上がっ
て、で、いろんなところに、え、このす
さっていうのを適用できる準備が整ってき
たんじゃないかなという風に思っています
。これが、え、なんで今このタイミングで
アークAGIのスコアがドーンと上がった
のかっていうところのポイントもやっぱり
ハーネスなんですよ。その実際ベンチ
マークでもそのアクAgi側が用意して
いる標準ハーネスっていうものがあって
標準ハーネスを使うと正当率60%台なん
だけどもその、え、オープンAIが
カリカリにチューンしたアークAIを解く
ためのハーネスを使うと99.9%まで
上がるみたいなことが言われてると。で、
じゃ、どんなハーネスをこのために用意し
ているのかと言うと、その実際にその問題
っていうのが、ま、画像で表されるクイズ
問題というかゲームなんで、それを理解
するためのツールを作る能力みたいな画像
を認識してゲームがどんなものを捉えるか
みたいな能力、ツールを作るだとか、他に
もその、えー、計算するツールだとか、
そういういろんなツールを作れる能力って
いうのをハーネス側で備えてで、この
ゲームを解くためにどのツールを作れば
良さそうだみたいなことを判断する能力
みたいなところもハーネスに仕込んで、
その上でアストラがそのハーネスを利用し
ていると非常に難しい問題でもじっくり
観察して自分が何をすべきか理解してその
何をすべきかに必要な通路を作ってでそれ
を使いこなして実際問題を解くっていう
ことができるようになったと。ま、
LLM
も頑張る、ハーネスも頑張るっていうところが合わさったので難しい、今まで解けなかった問題が解けるようになったよというところだと思ってます。
今回そのOPAIがこの6
に関してサイバーセキュリティの車内基準
を初めてクリティカルに設定したっていう話がありました。
で、ま、昨いわゆるその
AI
のセキュリティというか、サイバーセキュリティ上の問題ってどうなったみたいなところありますけど、その点に関して今回のアストラどう見られてますかね?
ま、あの、今回アストラのリースに対してセキュリティ、ま、サイバーセキュリティの観点でオープン
AI
が色々と言及してるんですけども、それはこの、ま、アストラの開発定でやらかしてしまったからというのに尽きると思うんですね。禁止されてるそのわゆるレールですね。
やっちゃいけないことっていうのを決める
仕組み、システム的な仕組みを脱走して
脱獄して色々やらかしてしまいましたよっ
ていう事実があるんで、みんな世界中が
またやらかすんじゃないのって心配してる
ので、ちゃんと、え、ガードレールも
新しいもの作りましたし、テストもしまし
たよみたいなことを言っているという
ところだとは思います。で、この辺りも
結局
ツールを使いこなせるようになったって
いう問題ではあるんで、ハーネス的な
ところの発想に非常に近いものがあると
思うんですね。単にLLMがなんか賢く
なっただけじゃなくって、いろんなツール
を使いこなせるようになった結果、ま、
脱獄みたいなこともできるようになったし
、なんか知らん、初めて見るサイトに
アクセスしてそこの静性を見つけた上で
そこに侵入するみたいなこともできるよう
になったっていうところだと思い
ます。今後のいわゆるこのAモデルの競争
みたいなところも含めてどこら辺が
ポイントになってくるか展望教えてもらっ
てもいいです。そうですね。ま、やっぱり
当面はコーディング能力に尽きると思うん
ですね。オープンAIもアンソロピックも
その他、え、LLMを提供してる企業が
どれだけコーティング能力を伸ばせるの
かっていうところがLLMの性能競争、
AIエージェントの、ま、要はハーネス
コミのAIエージェントの性能競争を
決めると僕は思っています。ま、僕が思っ
てるというよりもこの間だジェフディン
さんがそう言ってたんですよね。
このジェグディンさんというのは常に長く
Google
の技術リーダーをめていた、ま、本当にもう伝説のエンジニアで
8月に8月の上旬にGoogle
をやめて自分のディスカバリー
ループっスタートアップを起業するっていうので、え、発表した人なんですけども、その人がディスカバリー
ループを作るためにGoogle
を卒業するよって発表した
3日後かな、2日後か3
日後に公演を行ったんですね。スタン、えっと、リコンバレイで。
そん時に彼が言ってたのはその
コーディング能力っていうのを、ま、
Googleのジェミニで強化するって
いうのにフォーカスするのにや遅れたって
いうところが、ま、ジェミニがちょっと今
、まあ、なんと言いますか、え、リードさ
れている要因なんじゃないかなという
ニュアンスの発言をしたんですよ。
で、アンソロピックもオープン
AI
もコーディング能力を向上させるぞっていうところに一早く注力したことが、ま、非常に重要だったって言ってるんですが、なんでコーディング能力が重要かというと、
コーディング能力が向上するとコーディング以外の能力も向上するっていうことが分かったからなんですね。
で、なんでこんなことが起きるのかと言う
と、コーディング能力を強化すると何か
大きな問題、難しい問題っていうのがあっ
た時にその問題を小さな問題、サブ問題に
分割してそれぞれの問題、小さい問題を
解いてそれをマジしてそれで本当に大きな
問題が解けるのっていうのを検証して、で
、なんか問題があったらまた改善して
みたいなループを回す能力が向上すると。
だからコーディング以外の世界中にある
いろんな複雑な問題を解く能力がこれ成長
するというようなことからコーディング
能力をこう上げるとそれこそ法律ホームの
問題を解くだとか財務の問題を解くだとか
マーケティングだなんだとで数学の問題だ
とか科学の問題を解くんだみたいなところ
の能力をが向上していくというところで
ここが非常に重要だと言ってるんですね。
ま、結局なんでコーディング能力が向上
すると論理的な思考能力、問題解決能力が
向上したのかっていうところが僕ポイント
だと思うんですね。で、これあくまで僕の
、ま、仮説レベルの話なんですけれども、
ポイントはトレーニングデータにあったと
思うんですよ。今日はコーディング能力を
向上させるためのLLMのAIモデルの
トレーニングデータって何だ?何だった
かって言うと、おそらくはそのギit
hubとかあと車内ギットとかで蓄積され
ているデータだったと思うんですね。で、
こういうそのギithubで管理されて
いる情報データってそのプログラムの
ソースコードだけじゃないんですよ。
そのギitubに登録されてるものって要
は何かそのソフトウェアに問題が発生し
ましたよっていう時にその問題を解決する
ために何をすべきかかっていうのを人間が
考えてそれを意種っていう単位で登録する
わけですね。で、その意種っていうのを
解決するために、え、みんながソース
コードを改善しました。で、改善したら
それをプルリクエストっていうの投げて
これ本体のコードにマージしてくれておう
をするんですね。で、そのプルリクエスト
が来たらデビューアーっていうソース
コードをチェックする人がちゃんと改善さ
れてるのかチェックしてで改善されて
なかったら戻してまた直してレビューし
てオケーってなったらそれを本体の行動に
マージしますっていう一連のその改善
プロセスの全てのなんというか履歴が残っ
てるわけですよ。で、これを学習させてる
とすると、ソフトウェア開発者、優れた
ソフトウェア開発者の仕事をした家庭全部
がトレーニングデータになってるという
ことは、AIは優れたソフトウェア開発者
のやり口、考え方、仕事の仕方っていうの
が学べるので、だからコーディング以外の
問題を分割して改善していくっていう能力
が高まったんじゃないかなという風に思っ
ています。となると今後コーディング以外
のいろんな仕事ができるAIエージェント
LLMを作っていく上で何が重要になる
かってやっぱり僕データだと思ってるん
ですよ。要はいろんな専門家が仕事をする
その家庭のデータってGitubには
ソフトウェア開発にはギッドハブに残され
てるんですけども他の仕事多分ないと思う
んですね。で、弁護士の先生が訴訟のため
の準備を行うなんかシステムのログとかっ
てあんまないと思うんですよ。その結果
どうしたか、会計の専門家がどうしたとか
てことないと思うんですね。だから今その
オープンAIみたいなフロンティアラボと
言われるAIモデルの開発組織はそこの
データを取りに行ってるんですよ。具体的
にはそのスケールAIみたいな専門家に
トレーニングデータの作成を依頼する会社
っていうのがあるんですが、そこに依頼し
て医者とか弁護士とかその金融の専門家の
クオン津とかそういう人たちを時給
200ドルとか250ドルで雇ってで法律
家が仕事にする上で作ってるデータという
か法律化に実際の仕事をさせてそれを
データとしてアップロードしてもらいます
よとかお医者さんに新電を読ませてここ
から何を見ますかみたいなのを記録して
もらうとかあとはAIモデルは実際にこう
CTスキャンの画像を診断した結果とかを
見せてそれを添索してもらうだとかそう
いうような仕事を今大量にさせてその
データがえ学習に使われ始めてるんですね
。だから今メタがこな間だ、え、ミューズ
スパークっていうのをどんどんバージョン
アップさせていて、それの性能がすごく
上がってるんですけども、この背景には
そのさっき言ったSKAIっていう教師
データの作成サービスの創業者をしてる
アレクサンドルンっていう人が去年メタの
AI開発のトップになったんですよ。教子
データを作るサービスの会社のトップが
創業者がメタのAI回数のトップになっ
たらメタのAIモデルの性能がすごく
上がったっていうことを考えると多分
データの力が効いてきてると思うんですね
。
なので、よりろんな専門領域で教育データが蓄積されて、それがトレーニングに回れば回るほど、今言ってなとか医療だとか金融だとかそういったところの能力がこの先どんどんどんどん上がってきて適用領域が増えていくんじゃないかなと思ってるので、ここの部分非常にこれから注目していきたいという風に思っております。