0:00.960–0:13.120
対話型AIチャットGPTを手掛けるアメリカのOpenAIは9月3日新型AIモデルGPT6アASRAの提供を始めたと発表しました。
0:13.120–0:22.000
一部の顧客向けに提供開始し、数日以内に有料プラン利用者や法人向けにも展開します。
0:22.000–0:32.759
アストラは高度な数学的な論理水論能力などで競豪他者の先端モデルを上回る性能を示したということです。
0:32.759–0:43.640
一方でアストラはサイバー攻撃への悪用の恐れがあると判断され、車内でも最も厳しいサイバーセキュリティ基準クリティカルに初めて分類されました。
0:43.640–0:50.320
このため開発が一時的に停止された経緯があります。
0:50.320–0:57.879
OpenAIは提供にあたり悪用を防ぐ保護対策を大幅に強化したとしています。
0:57.879–1:00.440
はい、こんにちは。え、日経BPAI
1:00.440–1:03.920
データボの中田です。え、今日はここから
1:03.920–1:13.080
OPENAIがこの前リリースした、え、GPT6ASRAについて解説しようと思います。ま、正直日本[鼻息]で
1:13.080–1:19.680
あんまり盛り上がってないと思うんですよ。なんかこれすごいなとかすごいものが
1:19.680–1:33.960
リリースされたみたいに話題にしているSNSの人がそんなにいるわけでもないんですけども、これ結局今アストラで何が1番強化されたかっていうところに尽きると思うんですね。結局アストラって、ま、
1:33.960–1:40.200
1番のメインはコーディング能力の強化なんですね。だからアストラのすさっていう
1:40.200–1:56.680
のが本当に体感できる人って、ま、今の時点でアストラの利用が許可されてるものすごいごくごく一部の組織、ま、会社とかそういったところに務めていてかつコーディングに実際に使った人じゃないと
1:56.680–2:01.719
これすごいなみたいな感想の持ち用がないんですよ。で、もう1つはこれも重要な
2:01.719–2:16.239
ことなんですけども、チャatトGPTで普通にあの、WebにあるチャットGPTとかあとスマホのチャatトGPTアプリで使ってる分にはどこがすごくなったのかみたいなのを感じづらいところになってる
2:16.239–2:18.959
んですね。要はコーデックっ
2:18.959–2:29.200
ていうコーディングエージェントを使って初めてそのコーディング能力の高さが実感できるみたいなところになると。で、え、
2:29.200–2:37.720
結局今アストラがすごいっていう話になってるんですけども、本当にそうなのかなみたいなところもあるんですよ。要はそれ
2:37.720–2:45.400
と同時にOpenAIはコーデックスというコーディングエージェントのいわゆるハーネスですね。ま、AIエージェントを
2:45.400–3:01.879
実装する上でのLLM以外の全ての周りのものをハーネスと呼んでツールを動かしたり、ま、そのツールの中には実際にパソコンの中で稼働しているウェブラウザーだとかいろんなアプリだとかがあるんですけど、そういう通路を動かし
3:01.879–3:17.239
たり、どっかのシステムに連携したり、データを持ってきたり、ファイルを書き込んだり、ファイルを編集したりみたいなも諸々の仕組みが全部ハーネスと呼ばれるんですけども、そこの部分の性能工場がいわゆるアストラと呼ばれるものの
3:17.239–3:31.920
性能向上に非常に強く貢献しているというところがあるので、ま、要はコデックスを使ってコーディングをしないとそのすごさが分からないと。そして私もコーディング
3:31.920–3:40.640
をやらないので[鼻息]今1[笑い]つ、ま、強さを実感できないみたいな状況にあるというところなんですね。アストラの
3:40.640–3:52.040
性能がどれぐらいすごくなったかっていうのでOpenAIのその発表したベンチマークの数字を全部こう読み上げてこれはすごいことですって説明してもいいんですけども、ま、そんなんやってもしょうが
3:52.040–4:05.159
ないというか、あの、あくまでベンチマークの数値なんで、そういうもんだと他のに比べてこれぐらい上がったっていう風に思っとけばいいんですが、その中でも僕がやっぱり今回1番すごいなと思ったのは
4:05.159–4:15.959
ARAGIのARAGIベンチマークのバージョ3というのがもうこれ溶けてしまったっていうところ。ここだけは僕本当にすごいと
4:15.959–4:19.239
は思ってるんですね。このアークAGI
4:19.239–4:42.000
っていうのはAIが初見で問題、ま、何か解決しなくていけない問題に出会ってこの問題は何なんだろうって観察して問題を特定してそれを解くっていう一連の能力を図る、ま、論理的な思考能力を図る、ま、
4:42.000–4:44.280
ベンチマークなんですね。ただそこにもう
4:44.280–4:57.639
1つ要素が載ってきて、人間だったら確実に要因に解ける問題なんだけども、AIには解けないみたいな問題を解かせるということに特化したベンチマークになります。
4:57.639–5:04.600
で、元々、えー、ま、どんなベンチマークがあるかっていうとゲームを溶かせるベンチマークなんですよ。で、ゲームの
5:04.600–5:08.759
ルールとかは何も伝えません。思考錯誤を
5:08.759–5:24.400
して、あ、このゲームっていうのは例えばなんか似たようなパズルを選ぶゲームだなとか、あとなんかまあ50代ぐらいアラフィじゃないとわかんないかもしれないんですが、大昔のゲームで倉庫版っていうゲームがあって、こう
5:24.400–5:35.840
荷物をどうやって動かしていくとその倉庫から荷物をこうやって取り出せるのかみたいなゲームがあるんですけども、そういうようなのに似たゲームをポンと出してで、これのゲームのゴールは何かって考え
5:35.840–5:45.520
させて溶解せるとかそういうタイプのゲーム、ま、初見のゲームをひたすらAIに溶かせて解けるかどうかっていうのを見るベンチマークなんですね。で、この
5:45.520–5:58.080
ベンチマーク、え、2024年にONAIの1っていう、ま、リーゾニングモデル、え、ま、論理し、論理水論のモデルが出るまで全然解けなかったんですよ。それ
5:58.080–6:01.880
ぐらいすごい難しい。Llò規模言語
6:01.880–6:08.520
モデルが得意とするタスクの性能を測るベンチマークだったんですね。このアークAI
6:08.520–6:24.400
ベンチマークの今までのそのGPTモデルの性能って、え、GPT5.6ソロだと、え、本当に1桁だったのが今回のアストラで、まあ99.9%まで解けるようになったっていう話になったんですね。で、これ
6:24.400–6:40.919
何が、ま、すごいのかと言うと、あの、僕が企画しているAIリーダーズ会議というですね、イベントがありまして、前回3月に、え、このアークAGIを企画しているフランソアショレさんというAI研究者の
6:40.919–6:58.759
方を招きをしたんで、ま、それでちょっと詳しいというところがあるんですが、このARAGIが目指してるものはその流動的知能と呼ばれるようなものを、え、測ることなんですね。で、このAGI、ま、
6:58.759–7:07.520
汎用人口知能に必要な要素の1つとしてフランス書類さんは流動的知能ってものがいると。で、この流動的知能っていうのは
7:07.520–7:20.720
決められたことを決められた手段でこうこなしていけるようなパターンをこなしていける知能ではなくて、ま、そういうのはスキルに過ぎないみたいなや方してるんですけども、全く体験したことがない、
7:20.720–7:28.160
全然知らない状況を見て解けるようになるっていう非常に難しい。でも人間はそれ
7:28.160–7:30.199
やって生きてるわけですね。で、それが
7:30.199–7:44.360
できるかできないかを図るもので、これが解けるようになったということで、その論理的な思考能力っていうのが1段上がって、で、いろんなところに、え、このすさっていうのを適用できる準備が整ってき
7:44.360–7:50.120
たんじゃないかなという風に思っています。これが、え、なんで今このタイミングで
7:50.120–7:58.199
アークAGIのスコアがドーンと上がったのかっていうところのポイントもやっぱりハーネスなんですよ。その実際ベンチ
7:58.199–8:14.120
マークでもそのアクAgi側が用意している標準ハーネスっていうものがあって標準ハーネスを使うと正当率60%台なんだけどもその、え、オープンAIがカリカリにチューンしたアークAIを解く
8:14.120–8:20.120
ためのハーネスを使うと99.9%まで上がるみたいなことが言われてると。で、
8:20.120–8:35.719
じゃ、どんなハーネスをこのために用意しているのかと言うと、その実際にその問題っていうのが、ま、画像で表されるクイズ問題というかゲームなんで、それを理解するためのツールを作る能力みたいな画像
8:35.719–8:52.240
を認識してゲームがどんなものを捉えるかみたいな能力、ツールを作るだとか、他にもその、えー、計算するツールだとか、そういういろんなツールを作れる能力っていうのをハーネス側で備えてで、この
8:52.240–9:07.120
ゲームを解くためにどのツールを作れば良さそうだみたいなことを判断する能力みたいなところもハーネスに仕込んで、その上でアストラがそのハーネスを利用していると非常に難しい問題でもじっくり
9:07.120–9:19.640
観察して自分が何をすべきか理解してその何をすべきかに必要な通路を作ってでそれを使いこなして実際問題を解くっていうことができるようになったと。ま、
9:19.640–9:29.630
LLMも頑張る、ハーネスも頑張るっていうところが合わさったので難しい、今まで解けなかった問題が解けるようになったよというところだと思ってます。
9:29.640–9:37.550
今回そのOPAIがこの6に関してサイバーセキュリティの車内基準を初めてクリティカルに設定したっていう話がありました。
9:37.560–9:48.630
で、ま、昨いわゆるそのAIのセキュリティというか、サイバーセキュリティ上の問題ってどうなったみたいなところありますけど、その点に関して今回のアストラどう見られてますかね?
9:48.640–10:07.069
ま、あの、今回アストラのリースに対してセキュリティ、ま、サイバーセキュリティの観点でオープンAIが色々と言及してるんですけども、それはこの、ま、アストラの開発定でやらかしてしまったからというのに尽きると思うんですね。禁止されてるそのわゆるレールですね。
10:07.079–10:19.200
やっちゃいけないことっていうのを決める仕組み、システム的な仕組みを脱走して脱獄して色々やらかしてしまいましたよっていう事実があるんで、みんな世界中がまたやらかすんじゃないのって心配してる
10:19.200–10:29.480
ので、ちゃんと、え、ガードレールも新しいもの作りましたし、テストもしましたよみたいなことを言っているというところだとは思います。で、この辺りも
10:29.480–10:41.120
結局ツールを使いこなせるようになったっていう問題ではあるんで、ハーネス的なところの発想に非常に近いものがあると思うんですね。単にLLMがなんか賢く
10:41.120–10:55.720
なっただけじゃなくって、いろんなツールを使いこなせるようになった結果、ま、脱獄みたいなこともできるようになったし、なんか知らん、初めて見るサイトにアクセスしてそこの静性を見つけた上で
10:55.720–11:03.880
そこに侵入するみたいなこともできるようになったっていうところだと思います。今後のいわゆるこのAモデルの競争
11:03.880–11:09.680
みたいなところも含めてどこら辺がポイントになってくるか展望教えてもらってもいいです。そうですね。ま、やっぱり
11:09.680–11:14.639
当面はコーディング能力に尽きると思うんですね。オープンAIもアンソロピックも
11:14.639–11:30.480
その他、え、LLMを提供してる企業がどれだけコーティング能力を伸ばせるのかっていうところがLLMの性能競争、AIエージェントの、ま、要はハーネスコミのAIエージェントの性能競争を決めると僕は思っています。ま、僕が思っ
11:30.480–11:34.480
てるというよりもこの間だジェフディンさんがそう言ってたんですよね。
11:34.480–11:53.069
このジェグディンさんというのは常に長くGoogleの技術リーダーをめていた、ま、本当にもう伝説のエンジニアで8月に8月の上旬にGoogleをやめて自分のディスカバリーループっスタートアップを起業するっていうので、え、発表した人なんですけども、その人がディスカバリー
11:53.079–12:02.829
ループを作るためにGoogleを卒業するよって発表した3日後かな、2日後か3日後に公演を行ったんですね。スタン、えっと、リコンバレイで。
12:02.839–12:20.000
そん時に彼が言ってたのはそのコーディング能力っていうのを、ま、Googleのジェミニで強化するっていうのにフォーカスするのにや遅れたっていうところが、ま、ジェミニがちょっと今、まあ、なんと言いますか、え、リードさ
12:20.000–12:24.440
れている要因なんじゃないかなというニュアンスの発言をしたんですよ。
12:24.440–12:37.269
で、アンソロピックもオープンAIもコーディング能力を向上させるぞっていうところに一早く注力したことが、ま、非常に重要だったって言ってるんですが、なんでコーディング能力が重要かというと、
12:37.279–12:45.269
コーディング能力が向上するとコーディング以外の能力も向上するっていうことが分かったからなんですね。
12:45.279–13:02.639
で、なんでこんなことが起きるのかと言うと、コーディング能力を強化すると何か大きな問題、難しい問題っていうのがあった時にその問題を小さな問題、サブ問題に分割してそれぞれの問題、小さい問題を
13:02.639–13:16.920
解いてそれをマジしてそれで本当に大きな問題が解けるのっていうのを検証して、で、なんか問題があったらまた改善してみたいなループを回す能力が向上すると。
13:16.920–13:33.920
だからコーディング以外の世界中にあるいろんな複雑な問題を解く能力がこれ成長するというようなことからコーディング能力をこう上げるとそれこそ法律ホームの問題を解くだとか財務の問題を解くだとか
13:33.920–13:45.040
マーケティングだなんだとで数学の問題だとか科学の問題を解くんだみたいなところの能力をが向上していくというところでここが非常に重要だと言ってるんですね。
13:45.040–13:57.000
ま、結局なんでコーディング能力が向上すると論理的な思考能力、問題解決能力が向上したのかっていうところが僕ポイントだと思うんですね。で、これあくまで僕の
13:57.000–14:05.079
、ま、仮説レベルの話なんですけれども、ポイントはトレーニングデータにあったと思うんですよ。今日はコーディング能力を
14:05.079–14:10.360
向上させるためのLLMのAIモデルのトレーニングデータって何だ?何だった
14:10.360–14:19.839
かって言うと、おそらくはそのギithubとかあと車内ギットとかで蓄積されているデータだったと思うんですね。で、
14:19.839–14:27.639
こういうそのギithubで管理されている情報データってそのプログラムのソースコードだけじゃないんですよ。
14:27.639–14:43.079
そのギitubに登録されてるものって要は何かそのソフトウェアに問題が発生しましたよっていう時にその問題を解決するために何をすべきかかっていうのを人間が考えてそれを意種っていう単位で登録する
14:43.079–14:45.600
わけですね。で、その意種っていうのを
14:45.600–14:52.480
解決するために、え、みんながソースコードを改善しました。で、改善したら
14:52.480–14:59.440
それをプルリクエストっていうの投げてこれ本体のコードにマージしてくれておうをするんですね。で、そのプルリクエスト
14:59.440–15:13.720
が来たらデビューアーっていうソースコードをチェックする人がちゃんと改善されてるのかチェックしてで改善されてなかったら戻してまた直してレビューしてオケーってなったらそれを本体の行動に
15:13.720–15:24.560
マージしますっていう一連のその改善プロセスの全てのなんというか履歴が残ってるわけですよ。で、これを学習させてる
15:24.560–15:41.279
とすると、ソフトウェア開発者、優れたソフトウェア開発者の仕事をした家庭全部がトレーニングデータになってるということは、AIは優れたソフトウェア開発者のやり口、考え方、仕事の仕方っていうの
15:41.279–15:56.480
が学べるので、だからコーディング以外の問題を分割して改善していくっていう能力が高まったんじゃないかなという風に思っています。となると今後コーディング以外
15:56.480–16:09.000
のいろんな仕事ができるAIエージェントLLMを作っていく上で何が重要になるかってやっぱり僕データだと思ってるんですよ。要はいろんな専門家が仕事をする
16:09.000–16:19.639
その家庭のデータってGitubにはソフトウェア開発にはギッドハブに残されてるんですけども他の仕事多分ないと思うんですね。で、弁護士の先生が訴訟のため
16:19.639–16:25.759
の準備を行うなんかシステムのログとかってあんまないと思うんですよ。その結果
16:25.759–16:32.199
どうしたか、会計の専門家がどうしたとかてことないと思うんですね。だから今その
16:32.199–16:39.759
オープンAIみたいなフロンティアラボと言われるAIモデルの開発組織はそこのデータを取りに行ってるんですよ。具体的
16:39.759–16:56.600
にはそのスケールAIみたいな専門家にトレーニングデータの作成を依頼する会社っていうのがあるんですが、そこに依頼して医者とか弁護士とかその金融の専門家のクオン津とかそういう人たちを時給
16:56.600–17:14.760
200ドルとか250ドルで雇ってで法律家が仕事にする上で作ってるデータというか法律化に実際の仕事をさせてそれをデータとしてアップロードしてもらいますよとかお医者さんに新電を読ませてここ
17:14.760–17:29.799
から何を見ますかみたいなのを記録してもらうとかあとはAIモデルは実際にこうCTスキャンの画像を診断した結果とかを見せてそれを添索してもらうだとかそういうような仕事を今大量にさせてその
17:29.799–17:36.360
データがえ学習に使われ始めてるんですね。だから今メタがこな間だ、え、ミューズ
17:36.360–17:48.280
スパークっていうのをどんどんバージョンアップさせていて、それの性能がすごく上がってるんですけども、この背景にはそのさっき言ったSKAIっていう教師データの作成サービスの創業者をしてる
17:48.280–17:54.720
アレクサンドルンっていう人が去年メタのAI開発のトップになったんですよ。教子
17:54.720–18:10.390
データを作るサービスの会社のトップが創業者がメタのAI回数のトップになったらメタのAIモデルの性能がすごく上がったっていうことを考えると多分データの力が効いてきてると思うんですね。
18:10.400–18:13.400
なので、よりろんな専門領域で教育データが蓄積されて、それがトレーニングに回れば回るほど、今言ってなとか医療だとか金融だとかそういったところの能力がこの先どんどんどんどん上がってきて適用領域が増えていくんじゃないかなと思ってるので、ここの部分非常にこれから注目していきたいという風に思っております。
0:00.960–0:13.120
對話式AI聊天機器人ChatGPT的開發商美國OpenAI於9月3日宣佈開始提供新型AI模型GPT-6及Astra。
0:13.120–0:22.000
目前已向部分客戶開放,並將在數日內擴展至付費方案用戶及企業客戶。
0:22.000–0:32.759
據稱,Astra在高等數學邏輯推理等能力上,展現出超越其他競爭對手尖端模型的效能。
0:32.759–0:43.640
另一方面,由於判斷存在被用於網路攻擊的風險,Astra被歸類為符合最嚴格網路安全標準的「關鍵(Critical)」級別。
0:43.640–0:50.320
因此,其開發曾一度暫停。
0:50.320–0:57.879
OpenAI表示,在提供服務時已大幅強化防止濫用的保護措施。
0:57.879–1:00.440
是的,大家好。呃,日經BPAI
1:00.440–1:03.920
數據部的小田。呃,今天從這裡
1:03.920–1:13.080
我想來解說一下OpenAI之前釋出的呃,GPT-6及Astra。嗯,老實說在日本[鼻息]
1:13.080–1:19.680
我覺得並沒有那麼熱鬧。好像沒有那麼多人因為釋出了什麼了不起的東西而在社群媒體上討論,
1:19.680–1:33.960
但其實重點就在於Astra究竟強化了什麼。我認為這才是關鍵。畢竟Astra,嗯,
1:33.960–1:40.200
最主要的強化在於編碼能力。因此,Astra的
1:40.200–1:56.680
真正能體驗到這一點的人,嗯,目前僅限於獲准使用Astra的極少數組織,嗯,例如公司或相關機構,並且實際使用編碼功能的人,否則
1:56.680–2:01.719
很難產生「這真厲害」這樣的感想。還有另一點也很重要
2:01.719–2:16.239
,不過,如果只是平常使用ChatGPT網頁版或手機上的ChatGPT應用程式,很難感受到哪裡變厲害了
2:16.239–2:18.959
嗯,對。也就是說,編解碼器
2:18.959–2:29.200
嗯,雖然現在大家都在說Astra很厲害,但也有一些疑問,真的這麼厲害嗎?也就是說,與此同時
2:29.200–2:37.720
OpenAI也推出了稱為Codex的編碼代理程式,也就是所謂的「Harness」。嗯,AI代理程式
2:37.720–2:45.400
在實作LLM以外,所有周邊環境都稱為Harness,用來操作工具,嗯,這些工具中包括實際在電腦中運行的網頁瀏覽器或其他各種應用程式,但這些通路的操作
2:45.400–3:01.879
、與其他系統的串接、資料的獲取、檔案的寫入或編輯等各種機制都統稱為Harness,而該部分的效能提升
3:01.879–3:17.239
對所謂Astra的效能提升有非常顯著的貢獻,因此,嗯,也就是說,如果不使用Codex進行編碼,就無法理解其厲害之處。而且我也不進行編碼
3:17.239–3:31.920
,所以[鼻息]現在[笑]一,嗯,無法實際感受到其強大之處,這就是目前的狀況。關於Astra
3:31.920–3:40.640
效能提升了多少,即使我將OpenAI發表的所有基準測試數據逐一朗讀並解釋說「這很厲害」,嗯,這樣做也沒什麼意義
3:40.640–3:52.040
,或者說,嗯,畢竟那只是基準測試數值,只要認為「與其他相比提升了這麼多」就可以了,但在其中,我這次覺得最厲害的
3:52.040–4:05.159
是ARAGI基準測試的第3版,簡直就像融化了一樣。這一點我確實覺得非常厲害
4:05.159–4:15.959
ARAGI的ARAGI基準測試版本3,這部分已經完全被融化了。這一點我真的覺得非常厲害
4:15.959–4:19.239
我認為這個Arc AGI
4:19.239–4:42.000
這是指AI初次面對問題,也就是遇到必須解決的問題時,觀察「這個問題是什麼」,識別問題並加以解決的一系列能力,也就是測量邏輯思考能力,
4:42.000–4:44.280
加入了另一個要素,即專門針對那些人類肯定能解決但AI無法解決的問題進行測試的基準測試。
4:44.280–4:57.639
嗯,原本,呃,嗯,有哪些基準測試呢?就是能解遊戲的基準測試。對於遊戲
4:57.639–5:04.600
的規則不會告知任何資訊。透過反覆嘗試錯誤,
5:04.600–5:08.759
不會告訴任何規則。思考錯誤
5:08.759–5:24.400
就是思考如何移動貨物,以及如何從倉庫中取出貨物之類的遊戲,然後突然出現類似這樣的遊戲,思考這個遊戲的目標是什麼,
5:24.400–5:35.840
讓AI嘗試解開,或是這類型的遊戲,嗯,不斷讓AI嘗試解開初次見到的遊戲,看其能否解開的基準測試。嗯,這個
5:35.840–5:45.520
基準測試,呃,在2024年OpenAI推出1,嗯,推理模型,呃,嗯,邏輯,邏輯推理模型之前,完全無法解開。
5:45.520–5:58.080
基準測試,嗯,2024年OpenAI的1,也就是推理模型,嗯,邏輯、邏輯水論的模型出現之前,完全無法解開。那
5:58.080–6:01.880
用來測量其擅長任務效能的基準測試。這個ARAGI
6:01.880–6:08.520
基準測試中,以往GPT模型的效能,呃,GPT-5.6 Solo,呃,真的只有個位數,而這次的Astra,據說解題率達到了99.9%。嗯,這
6:08.520–6:24.400
有什麼,嗯,厲害之處呢?呃,我策劃了一個名為AI Leaders會議的活動,在上次3月,呃,邀請了策劃ARAGI的AI研究員
6:24.400–6:40.919
什麼,嗯,厲害的地方在於,我策劃的AI領袖會議這個活動,上次三月,嗯,策劃這個Arc AGI的AI研究者François Chollet先生
6:40.919–6:58.759
我邀請了他,他算是比較詳盡的人,而ARAGI所追求的,是測量被稱為流動性智能的東西。
6:58.759–7:07.520
法國文件指出,流動性智能是通用人工智慧所需的要素之一。
7:07.520–7:20.720
流動性智能並非指能夠按照既定手段完成既定事項的模式化智能,那僅僅是技能。
7:20.720–7:28.160
而是指能夠應對完全未曾體驗過、全然陌生的情境並加以解決的智能,這非常困難。
7:28.160–7:30.199
但人類正是憑藉這種能力生存。
7:30.199–7:44.360
這是衡量能否做到這一點的指標,既然能夠解決,代表邏輯思考能力提升了一個層次,並且為將此應用於各個領域做好了準備。
7:44.360–7:50.120
我認為這或許就是為什麼在這個時機點,ARAGI的評分會大幅飆升的原因。
7:50.120–7:58.199
Arc AGI的分数大幅上升的关键点,果然还是Harness。那个实际的基准
7:58.199–8:14.120
在實際的基準測試中,ARAGI方面準備了標準Harness,使用標準Harness時正確率僅為60%多,但若使用OpenAI針對ARAGI進行極致調優後所解題的Harness,則可提升至99.9%。
8:14.120–8:20.120
那麼,為此準備了怎樣的Harness呢?
8:20.120–8:35.719
實際上,問題是以圖像呈現的問答或遊戲,因此需要具備理解這些圖像的工具製作能力,以及識別圖像並掌握遊戲內容的能力。
8:35.719–8:52.240
Harness側面具備了製作各種工具的能力,例如計算工具等。
8:52.240–9:07.120
同時Harness也內建了判斷為了解決遊戲應製作何種工具的能力,而Astra正是利用這些Harness。
9:07.120–9:19.640
即使面對極難的問題,也能仔細觀察、理解自己該做什麼、建立所需的通路並熟練運用,從而實際解決問題。
9:19.640–9:29.630
我認為這是因為LLM與Harness都發揮了極大努力,使得過去無法解決的問題得以解決。
9:29.640–9:37.550
這次OpenAI首次對Cybersecurity車內基準設定了關鍵指標。
9:37.560–9:48.630
關於AI的資安問題,這次Astra被如何看待?
9:48.640–10:07.069
這次針對Astra的發布,OpenAI從資安角度提出了各種論述,我認為這歸咎於Astra開發過程中所犯下的錯誤。
10:07.079–10:19.200
因為存在脫離既定規則、系統性機制並犯下各種錯誤的事實,導致全球擔心是否還會有人重蹈覆轍。
10:19.200–10:29.480
因此他們表示已製作新的防護欄並進行了測試。
10:29.480–10:41.120
這部分最終也是因為能夠熟練運用工具的問題,我認為這與Harness式的思維非常接近。
10:41.120–10:55.720
不僅僅是LLM變得更聰明,而是因為能夠熟練運用各種工具,使得類似越獄的行為成為可能。
10:55.720–11:03.880
例如能夠訪問從未見過的網站,發現其靜態特性並進行入侵。
11:03.880–11:09.680
關於未來各種A模型的競爭,能否請您分享展望?
11:09.680–11:14.639
我認為短期內取決於編碼能力。
11:14.639–11:30.480
無論是OpenAI還是Anthropic,提供LLM的企業能否提升編碼能力,我認為這決定了LLM的性能競爭以及AI Agent的性能競爭。
11:30.480–11:34.480
這不僅僅是我的想法,Jeff Dean之前也這樣說過。
11:34.480–11:53.069
Jeff Dean長期擔任Google的技術領導人,是一位真正的傳奇工程師,他於8月上旬宣布離開Google並創立Discovery Loop初創公司。
11:53.079–12:02.829
他在宣布離開Google以建立Discovery Loop後的第三天或第二天進行了演講,地點是Stanford。
12:02.839–12:20.000
當時他的意思是,Google Gemini在強化編碼能力方面稍微落後了,這可能是Gemini目前略顯落後的原因。
12:20.000–12:24.440
他發表了這樣的言論。
12:24.440–12:37.269
他表示,OpenAI和Anthropic都早早專注於提升編碼能力,這非常關鍵。
12:37.279–12:45.269
因為發現提升編程能力也能提升編程以外的能力。
12:45.279–13:02.639
那麼,為什麼會發生這種情況呢?因為強化編程能力後,當遇到重大難題時,會將問題拆解為小問題或子問題,並針對每個小問題進行處理。
13:02.639–13:16.920
當強化編碼能力時,面對大型難題,能夠將其分解為小型子問題,逐一解決並驗證大型問題是否真正解決,若出現問題則再次改進,這種循環能力會提升。
13:16.920–13:33.920
因此,隨著編碼能力的提升,解決世界上各種複雜問題的能力也會成長,例如法律問題、財務問題、行銷問題、數學問題或科學問題。
13:33.920–13:45.040
他強調這裡非常關鍵,因為這意味著行銷、數學、科學等領域的問題解決能力都會提升。
13:45.040–13:57.000
我認為重點在於為什麼編碼能力提升會帶來邏輯思考能力和問題解決能力的提升。
13:57.000–14:05.079
這僅是我的假設層面,我認為重點在於訓練數據。
14:05.079–14:10.360
用於提升編碼能力的LLM AI模型的訓練數據是什麼?過去是什麼?
14:10.360–14:19.839
也就是說,我認為那些數據應該是積累在GitHub或GitLab等平台的數據。
14:19.839–14:27.639
在GitHub上管理的資訊數據,並不僅僅是程式的原始碼。
14:27.639–14:43.079
註冊在GitHub上的內容,基本上是指當軟體發生問題時,人類為了解決該問題而思考並應採取的行動,並以「意圖」為單位進行註冊。
14:43.079–14:45.600
也就是說,為了修復這些意圖,
14:45.600–14:52.480
大家會改善原始碼。而在改善之後,
14:52.480–14:59.440
會提交名為Pull Request的請求,要求將這些內容合併到主程式碼中。
14:59.440–15:13.720
當Pull Request到來時,負責檢查原始碼的人會確認是否已妥善改善,如果沒有改善則退回要求修正,經過審查確認OK後,再將其合併到主程式碼中。
15:13.720–15:24.560
這一系列改善過程的所有歷史記錄都保留下來了。
15:24.560–15:41.279
如果讓AI學習這些內容,那麼優秀軟體開發者所完成的工作全部都成為了訓練數據,這意味著AI能夠學習到優秀軟體開發者的手法、思維方式和工作方法。
15:41.279–15:56.480
因此,我認為這提升了將編碼以外的問題進行分解與改善的能力。那麼,未來在開發能夠執行編碼以外各種工作的AI Agent LLM時,
15:56.480–16:09.000
我認為最重要的是數據。也就是說,雖然軟體開發者的工作數據保留在GitHub上,
16:09.000–16:19.639
但其他工作的數據我想應該並不存在。例如律師為了訴訟所做的準備工作系統日誌等,應該並不多見。
16:19.639–16:25.759
結果如何,或者會計專家做了什麼,我想並不存在這樣的數據。
16:25.759–16:32.199
因此,目前像OpenAI這樣的先驅實驗室,也就是被稱為AI模型開發組織的機構,
16:32.199–16:39.759
像是 OpenAI 這樣的前沿實驗室(Frontier Lab),也就是開發 AI 模型的組織,他們會去獲取這些數據。具體來說
16:39.759–16:56.600
存在像Scale AI這樣的公司,它們委託專家創建訓練數據,並僱用醫生、律師、金融專家等人員,
16:56.600–17:14.760
以每小時200美元或250美元的薪資,讓法律從業者執行實際工作並上傳相關數據,或者讓醫生閱讀病歷並記錄他們從中看到了什麼,
17:14.760–17:29.799
此外,還讓AI模型展示實際的CT掃描影像診斷結果並進行審查,現在正大量進行此類工作,
17:29.799–17:36.360
這些數據開始被用於學習。因此,目前Meta正在不斷升級其
17:36.360–17:48.280
名為Musa Spark的產品,其性能大幅提升,而在這背後,是剛才提到的Scale AI創始人
17:48.280–17:54.720
Alexander在去年成為Meta AI開發的負責人。考慮到負責創建訓練數據服務的公司的創始人成為Meta AI部門的負責人後,Meta AI模型的性能大幅提升,
17:54.720–18:10.390
考慮到數據服務公司的創業者成為 Meta AI 負責人後,Meta 的 AI 模型性能大幅提升,我認為這很可能是數據的力量在發揮作用。
18:10.400–18:13.400
因此,我認為隨著更多專業領域的訓練數據被積累並投入訓練,未來在醫學、金融等領域的能力將不斷提升,應用範圍也會擴大,所以我非常關注這部分。
0:00.960–0:13.120
対話型AIチャットGPTを手掛けるアメリカのOpenAIは9月3日新型AIモデルGPT6アASRAの提供を始めたと発表しました。
對話式AI聊天機器人ChatGPT的開發商美國OpenAI於9月3日宣佈開始提供新型AI模型GPT-6及Astra。
0:13.120–0:22.000
一部の顧客向けに提供開始し、数日以内に有料プラン利用者や法人向けにも展開します。
目前已向部分客戶開放,並將在數日內擴展至付費方案用戶及企業客戶。
0:22.000–0:32.759
アストラは高度な数学的な論理水論能力などで競豪他者の先端モデルを上回る性能を示したということです。
據稱,Astra在高等數學邏輯推理等能力上,展現出超越其他競爭對手尖端模型的效能。
0:32.759–0:43.640
一方でアストラはサイバー攻撃への悪用の恐れがあると判断され、車内でも最も厳しいサイバーセキュリティ基準クリティカルに初めて分類されました。
另一方面,由於判斷存在被用於網路攻擊的風險,Astra被歸類為符合最嚴格網路安全標準的「關鍵(Critical)」級別。
0:43.640–0:50.320
このため開発が一時的に停止された経緯があります。
因此,其開發曾一度暫停。
0:50.320–0:57.879
OpenAIは提供にあたり悪用を防ぐ保護対策を大幅に強化したとしています。
OpenAI表示,在提供服務時已大幅強化防止濫用的保護措施。
0:57.879–1:00.440
はい、こんにちは。え、日経BPAI
是的,大家好。呃,日經BPAI
1:00.440–1:03.920
データボの中田です。え、今日はここから
數據部的小田。呃,今天從這裡
1:03.920–1:13.080
OPENAIがこの前リリースした、え、GPT6ASRAについて解説しようと思います。ま、正直日本[鼻息]で
我想來解說一下OpenAI之前釋出的呃,GPT-6及Astra。嗯,老實說在日本[鼻息]
1:13.080–1:19.680
あんまり盛り上がってないと思うんですよ。なんかこれすごいなとかすごいものが
我覺得並沒有那麼熱鬧。好像沒有那麼多人因為釋出了什麼了不起的東西而在社群媒體上討論,
1:19.680–1:33.960
リリースされたみたいに話題にしているSNSの人がそんなにいるわけでもないんですけども、これ結局今アストラで何が1番強化されたかっていうところに尽きると思うんですね。結局アストラって、ま、
但其實重點就在於Astra究竟強化了什麼。我認為這才是關鍵。畢竟Astra,嗯,
1:33.960–1:40.200
1番のメインはコーディング能力の強化なんですね。だからアストラのすさっていう
最主要的強化在於編碼能力。因此,Astra的
1:40.200–1:56.680
のが本当に体感できる人って、ま、今の時点でアストラの利用が許可されてるものすごいごくごく一部の組織、ま、会社とかそういったところに務めていてかつコーディングに実際に使った人じゃないと
真正能體驗到這一點的人,嗯,目前僅限於獲准使用Astra的極少數組織,嗯,例如公司或相關機構,並且實際使用編碼功能的人,否則
1:56.680–2:01.719
これすごいなみたいな感想の持ち用がないんですよ。で、もう1つはこれも重要な
很難產生「這真厲害」這樣的感想。還有另一點也很重要
2:01.719–2:16.239
ことなんですけども、チャatトGPTで普通にあの、WebにあるチャットGPTとかあとスマホのチャatトGPTアプリで使ってる分にはどこがすごくなったのかみたいなのを感じづらいところになってる
,不過,如果只是平常使用ChatGPT網頁版或手機上的ChatGPT應用程式,很難感受到哪裡變厲害了
2:16.239–2:18.959
んですね。要はコーデックっ
嗯,對。也就是說,編解碼器
2:18.959–2:29.200
ていうコーディングエージェントを使って初めてそのコーディング能力の高さが実感できるみたいなところになると。で、え、
嗯,雖然現在大家都在說Astra很厲害,但也有一些疑問,真的這麼厲害嗎?也就是說,與此同時
2:29.200–2:37.720
結局今アストラがすごいっていう話になってるんですけども、本当にそうなのかなみたいなところもあるんですよ。要はそれ
OpenAI也推出了稱為Codex的編碼代理程式,也就是所謂的「Harness」。嗯,AI代理程式
2:37.720–2:45.400
と同時にOpenAIはコーデックスというコーディングエージェントのいわゆるハーネスですね。ま、AIエージェントを
在實作LLM以外,所有周邊環境都稱為Harness,用來操作工具,嗯,這些工具中包括實際在電腦中運行的網頁瀏覽器或其他各種應用程式,但這些通路的操作
2:45.400–3:01.879
実装する上でのLLM以外の全ての周りのものをハーネスと呼んでツールを動かしたり、ま、そのツールの中には実際にパソコンの中で稼働しているウェブラウザーだとかいろんなアプリだとかがあるんですけど、そういう通路を動かし
、與其他系統的串接、資料的獲取、檔案的寫入或編輯等各種機制都統稱為Harness,而該部分的效能提升
3:01.879–3:17.239
たり、どっかのシステムに連携したり、データを持ってきたり、ファイルを書き込んだり、ファイルを編集したりみたいなも諸々の仕組みが全部ハーネスと呼ばれるんですけども、そこの部分の性能工場がいわゆるアストラと呼ばれるものの
對所謂Astra的效能提升有非常顯著的貢獻,因此,嗯,也就是說,如果不使用Codex進行編碼,就無法理解其厲害之處。而且我也不進行編碼
3:17.239–3:31.920
性能向上に非常に強く貢献しているというところがあるので、ま、要はコデックスを使ってコーディングをしないとそのすごさが分からないと。そして私もコーディング
,所以[鼻息]現在[笑]一,嗯,無法實際感受到其強大之處,這就是目前的狀況。關於Astra
3:31.920–3:40.640
をやらないので[鼻息]今1[笑い]つ、ま、強さを実感できないみたいな状況にあるというところなんですね。アストラの
效能提升了多少,即使我將OpenAI發表的所有基準測試數據逐一朗讀並解釋說「這很厲害」,嗯,這樣做也沒什麼意義
3:40.640–3:52.040
性能がどれぐらいすごくなったかっていうのでOpenAIのその発表したベンチマークの数字を全部こう読み上げてこれはすごいことですって説明してもいいんですけども、ま、そんなんやってもしょうが
,或者說,嗯,畢竟那只是基準測試數值,只要認為「與其他相比提升了這麼多」就可以了,但在其中,我這次覺得最厲害的
3:52.040–4:05.159
ないというか、あの、あくまでベンチマークの数値なんで、そういうもんだと他のに比べてこれぐらい上がったっていう風に思っとけばいいんですが、その中でも僕がやっぱり今回1番すごいなと思ったのは
是ARAGI基準測試的第3版,簡直就像融化了一樣。這一點我確實覺得非常厲害
4:05.159–4:15.959
ARAGIのARAGIベンチマークのバージョ3というのがもうこれ溶けてしまったっていうところ。ここだけは僕本当にすごいと
ARAGI的ARAGI基準測試版本3,這部分已經完全被融化了。這一點我真的覺得非常厲害
4:15.959–4:19.239
は思ってるんですね。このアークAGI
我認為這個Arc AGI
4:19.239–4:42.000
っていうのはAIが初見で問題、ま、何か解決しなくていけない問題に出会ってこの問題は何なんだろうって観察して問題を特定してそれを解くっていう一連の能力を図る、ま、論理的な思考能力を図る、ま、
這是指AI初次面對問題,也就是遇到必須解決的問題時,觀察「這個問題是什麼」,識別問題並加以解決的一系列能力,也就是測量邏輯思考能力,
4:42.000–4:44.280
ベンチマークなんですね。ただそこにもう
加入了另一個要素,即專門針對那些人類肯定能解決但AI無法解決的問題進行測試的基準測試。
4:44.280–4:57.639
1つ要素が載ってきて、人間だったら確実に要因に解ける問題なんだけども、AIには解けないみたいな問題を解かせるということに特化したベンチマークになります。
嗯,原本,呃,嗯,有哪些基準測試呢?就是能解遊戲的基準測試。對於遊戲
4:57.639–5:04.600
で、元々、えー、ま、どんなベンチマークがあるかっていうとゲームを溶かせるベンチマークなんですよ。で、ゲームの
的規則不會告知任何資訊。透過反覆嘗試錯誤,
5:04.600–5:08.759
ルールとかは何も伝えません。思考錯誤を
不會告訴任何規則。思考錯誤
5:08.759–5:24.400
して、あ、このゲームっていうのは例えばなんか似たようなパズルを選ぶゲームだなとか、あとなんかまあ50代ぐらいアラフィじゃないとわかんないかもしれないんですが、大昔のゲームで倉庫版っていうゲームがあって、こう
就是思考如何移動貨物,以及如何從倉庫中取出貨物之類的遊戲,然後突然出現類似這樣的遊戲,思考這個遊戲的目標是什麼,
5:24.400–5:35.840
荷物をどうやって動かしていくとその倉庫から荷物をこうやって取り出せるのかみたいなゲームがあるんですけども、そういうようなのに似たゲームをポンと出してで、これのゲームのゴールは何かって考え
讓AI嘗試解開,或是這類型的遊戲,嗯,不斷讓AI嘗試解開初次見到的遊戲,看其能否解開的基準測試。嗯,這個
5:35.840–5:45.520
させて溶解せるとかそういうタイプのゲーム、ま、初見のゲームをひたすらAIに溶かせて解けるかどうかっていうのを見るベンチマークなんですね。で、この
基準測試,呃,在2024年OpenAI推出1,嗯,推理模型,呃,嗯,邏輯,邏輯推理模型之前,完全無法解開。
5:45.520–5:58.080
ベンチマーク、え、2024年にONAIの1っていう、ま、リーゾニングモデル、え、ま、論理し、論理水論のモデルが出るまで全然解けなかったんですよ。それ
基準測試,嗯,2024年OpenAI的1,也就是推理模型,嗯,邏輯、邏輯水論的模型出現之前,完全無法解開。那
5:58.080–6:01.880
ぐらいすごい難しい。Llò規模言語
用來測量其擅長任務效能的基準測試。這個ARAGI
6:01.880–6:08.520
モデルが得意とするタスクの性能を測るベンチマークだったんですね。このアークAI
基準測試中,以往GPT模型的效能,呃,GPT-5.6 Solo,呃,真的只有個位數,而這次的Astra,據說解題率達到了99.9%。嗯,這
6:08.520–6:24.400
ベンチマークの今までのそのGPTモデルの性能って、え、GPT5.6ソロだと、え、本当に1桁だったのが今回のアストラで、まあ99.9%まで解けるようになったっていう話になったんですね。で、これ
有什麼,嗯,厲害之處呢?呃,我策劃了一個名為AI Leaders會議的活動,在上次3月,呃,邀請了策劃ARAGI的AI研究員
6:24.400–6:40.919
何が、ま、すごいのかと言うと、あの、僕が企画しているAIリーダーズ会議というですね、イベントがありまして、前回3月に、え、このアークAGIを企画しているフランソアショレさんというAI研究者の
什麼,嗯,厲害的地方在於,我策劃的AI領袖會議這個活動,上次三月,嗯,策劃這個Arc AGI的AI研究者François Chollet先生
6:40.919–6:58.759
方を招きをしたんで、ま、それでちょっと詳しいというところがあるんですが、このARAGIが目指してるものはその流動的知能と呼ばれるようなものを、え、測ることなんですね。で、このAGI、ま、
我邀請了他,他算是比較詳盡的人,而ARAGI所追求的,是測量被稱為流動性智能的東西。
6:58.759–7:07.520
汎用人口知能に必要な要素の1つとしてフランス書類さんは流動的知能ってものがいると。で、この流動的知能っていうのは
法國文件指出,流動性智能是通用人工智慧所需的要素之一。
7:07.520–7:20.720
決められたことを決められた手段でこうこなしていけるようなパターンをこなしていける知能ではなくて、ま、そういうのはスキルに過ぎないみたいなや方してるんですけども、全く体験したことがない、
流動性智能並非指能夠按照既定手段完成既定事項的模式化智能,那僅僅是技能。
7:20.720–7:28.160
全然知らない状況を見て解けるようになるっていう非常に難しい。でも人間はそれ
而是指能夠應對完全未曾體驗過、全然陌生的情境並加以解決的智能,這非常困難。
7:28.160–7:30.199
やって生きてるわけですね。で、それが
但人類正是憑藉這種能力生存。
7:30.199–7:44.360
できるかできないかを図るもので、これが解けるようになったということで、その論理的な思考能力っていうのが1段上がって、で、いろんなところに、え、このすさっていうのを適用できる準備が整ってき
這是衡量能否做到這一點的指標,既然能夠解決,代表邏輯思考能力提升了一個層次,並且為將此應用於各個領域做好了準備。
7:44.360–7:50.120
たんじゃないかなという風に思っています。これが、え、なんで今このタイミングで
我認為這或許就是為什麼在這個時機點,ARAGI的評分會大幅飆升的原因。
7:50.120–7:58.199
アークAGIのスコアがドーンと上がったのかっていうところのポイントもやっぱりハーネスなんですよ。その実際ベンチ
Arc AGI的分数大幅上升的关键点,果然还是Harness。那个实际的基准
7:58.199–8:14.120
マークでもそのアクAgi側が用意している標準ハーネスっていうものがあって標準ハーネスを使うと正当率60%台なんだけどもその、え、オープンAIがカリカリにチューンしたアークAIを解く
在實際的基準測試中,ARAGI方面準備了標準Harness,使用標準Harness時正確率僅為60%多,但若使用OpenAI針對ARAGI進行極致調優後所解題的Harness,則可提升至99.9%。
8:14.120–8:20.120
ためのハーネスを使うと99.9%まで上がるみたいなことが言われてると。で、
那麼,為此準備了怎樣的Harness呢?
8:20.120–8:35.719
じゃ、どんなハーネスをこのために用意しているのかと言うと、その実際にその問題っていうのが、ま、画像で表されるクイズ問題というかゲームなんで、それを理解するためのツールを作る能力みたいな画像
實際上,問題是以圖像呈現的問答或遊戲,因此需要具備理解這些圖像的工具製作能力,以及識別圖像並掌握遊戲內容的能力。
8:35.719–8:52.240
を認識してゲームがどんなものを捉えるかみたいな能力、ツールを作るだとか、他にもその、えー、計算するツールだとか、そういういろんなツールを作れる能力っていうのをハーネス側で備えてで、この
Harness側面具備了製作各種工具的能力,例如計算工具等。
8:52.240–9:07.120
ゲームを解くためにどのツールを作れば良さそうだみたいなことを判断する能力みたいなところもハーネスに仕込んで、その上でアストラがそのハーネスを利用していると非常に難しい問題でもじっくり
同時Harness也內建了判斷為了解決遊戲應製作何種工具的能力,而Astra正是利用這些Harness。
9:07.120–9:19.640
観察して自分が何をすべきか理解してその何をすべきかに必要な通路を作ってでそれを使いこなして実際問題を解くっていうことができるようになったと。ま、
即使面對極難的問題,也能仔細觀察、理解自己該做什麼、建立所需的通路並熟練運用,從而實際解決問題。
9:19.640–9:29.630
LLMも頑張る、ハーネスも頑張るっていうところが合わさったので難しい、今まで解けなかった問題が解けるようになったよというところだと思ってます。
我認為這是因為LLM與Harness都發揮了極大努力,使得過去無法解決的問題得以解決。
9:29.640–9:37.550
今回そのOPAIがこの6に関してサイバーセキュリティの車内基準を初めてクリティカルに設定したっていう話がありました。
這次OpenAI首次對Cybersecurity車內基準設定了關鍵指標。
9:37.560–9:48.630
で、ま、昨いわゆるそのAIのセキュリティというか、サイバーセキュリティ上の問題ってどうなったみたいなところありますけど、その点に関して今回のアストラどう見られてますかね?
關於AI的資安問題,這次Astra被如何看待?
9:48.640–10:07.069
ま、あの、今回アストラのリースに対してセキュリティ、ま、サイバーセキュリティの観点でオープンAIが色々と言及してるんですけども、それはこの、ま、アストラの開発定でやらかしてしまったからというのに尽きると思うんですね。禁止されてるそのわゆるレールですね。
這次針對Astra的發布,OpenAI從資安角度提出了各種論述,我認為這歸咎於Astra開發過程中所犯下的錯誤。
10:07.079–10:19.200
やっちゃいけないことっていうのを決める仕組み、システム的な仕組みを脱走して脱獄して色々やらかしてしまいましたよっていう事実があるんで、みんな世界中がまたやらかすんじゃないのって心配してる
因為存在脫離既定規則、系統性機制並犯下各種錯誤的事實,導致全球擔心是否還會有人重蹈覆轍。
10:19.200–10:29.480
ので、ちゃんと、え、ガードレールも新しいもの作りましたし、テストもしましたよみたいなことを言っているというところだとは思います。で、この辺りも
因此他們表示已製作新的防護欄並進行了測試。
10:29.480–10:41.120
結局ツールを使いこなせるようになったっていう問題ではあるんで、ハーネス的なところの発想に非常に近いものがあると思うんですね。単にLLMがなんか賢く
這部分最終也是因為能夠熟練運用工具的問題,我認為這與Harness式的思維非常接近。
10:41.120–10:55.720
なっただけじゃなくって、いろんなツールを使いこなせるようになった結果、ま、脱獄みたいなこともできるようになったし、なんか知らん、初めて見るサイトにアクセスしてそこの静性を見つけた上で
不僅僅是LLM變得更聰明,而是因為能夠熟練運用各種工具,使得類似越獄的行為成為可能。
10:55.720–11:03.880
そこに侵入するみたいなこともできるようになったっていうところだと思います。今後のいわゆるこのAモデルの競争
例如能夠訪問從未見過的網站,發現其靜態特性並進行入侵。
11:03.880–11:09.680
みたいなところも含めてどこら辺がポイントになってくるか展望教えてもらってもいいです。そうですね。ま、やっぱり
關於未來各種A模型的競爭,能否請您分享展望?
11:09.680–11:14.639
当面はコーディング能力に尽きると思うんですね。オープンAIもアンソロピックも
我認為短期內取決於編碼能力。
11:14.639–11:30.480
その他、え、LLMを提供してる企業がどれだけコーティング能力を伸ばせるのかっていうところがLLMの性能競争、AIエージェントの、ま、要はハーネスコミのAIエージェントの性能競争を決めると僕は思っています。ま、僕が思っ
無論是OpenAI還是Anthropic,提供LLM的企業能否提升編碼能力,我認為這決定了LLM的性能競爭以及AI Agent的性能競爭。
11:30.480–11:34.480
てるというよりもこの間だジェフディンさんがそう言ってたんですよね。
這不僅僅是我的想法,Jeff Dean之前也這樣說過。
11:34.480–11:53.069
このジェグディンさんというのは常に長くGoogleの技術リーダーをめていた、ま、本当にもう伝説のエンジニアで8月に8月の上旬にGoogleをやめて自分のディスカバリーループっスタートアップを起業するっていうので、え、発表した人なんですけども、その人がディスカバリー
Jeff Dean長期擔任Google的技術領導人,是一位真正的傳奇工程師,他於8月上旬宣布離開Google並創立Discovery Loop初創公司。
11:53.079–12:02.829
ループを作るためにGoogleを卒業するよって発表した3日後かな、2日後か3日後に公演を行ったんですね。スタン、えっと、リコンバレイで。
他在宣布離開Google以建立Discovery Loop後的第三天或第二天進行了演講,地點是Stanford。
12:02.839–12:20.000
そん時に彼が言ってたのはそのコーディング能力っていうのを、ま、Googleのジェミニで強化するっていうのにフォーカスするのにや遅れたっていうところが、ま、ジェミニがちょっと今、まあ、なんと言いますか、え、リードさ
當時他的意思是,Google Gemini在強化編碼能力方面稍微落後了,這可能是Gemini目前略顯落後的原因。
12:20.000–12:24.440
れている要因なんじゃないかなというニュアンスの発言をしたんですよ。
他發表了這樣的言論。
12:24.440–12:37.269
で、アンソロピックもオープンAIもコーディング能力を向上させるぞっていうところに一早く注力したことが、ま、非常に重要だったって言ってるんですが、なんでコーディング能力が重要かというと、
他表示,OpenAI和Anthropic都早早專注於提升編碼能力,這非常關鍵。
12:37.279–12:45.269
コーディング能力が向上するとコーディング以外の能力も向上するっていうことが分かったからなんですね。
因為發現提升編程能力也能提升編程以外的能力。
12:45.279–13:02.639
で、なんでこんなことが起きるのかと言うと、コーディング能力を強化すると何か大きな問題、難しい問題っていうのがあった時にその問題を小さな問題、サブ問題に分割してそれぞれの問題、小さい問題を
那麼,為什麼會發生這種情況呢?因為強化編程能力後,當遇到重大難題時,會將問題拆解為小問題或子問題,並針對每個小問題進行處理。
13:02.639–13:16.920
解いてそれをマジしてそれで本当に大きな問題が解けるのっていうのを検証して、で、なんか問題があったらまた改善してみたいなループを回す能力が向上すると。
當強化編碼能力時,面對大型難題,能夠將其分解為小型子問題,逐一解決並驗證大型問題是否真正解決,若出現問題則再次改進,這種循環能力會提升。
13:16.920–13:33.920
だからコーディング以外の世界中にあるいろんな複雑な問題を解く能力がこれ成長するというようなことからコーディング能力をこう上げるとそれこそ法律ホームの問題を解くだとか財務の問題を解くだとか
因此,隨著編碼能力的提升,解決世界上各種複雜問題的能力也會成長,例如法律問題、財務問題、行銷問題、數學問題或科學問題。
13:33.920–13:45.040
マーケティングだなんだとで数学の問題だとか科学の問題を解くんだみたいなところの能力をが向上していくというところでここが非常に重要だと言ってるんですね。
他強調這裡非常關鍵,因為這意味著行銷、數學、科學等領域的問題解決能力都會提升。
13:45.040–13:57.000
ま、結局なんでコーディング能力が向上すると論理的な思考能力、問題解決能力が向上したのかっていうところが僕ポイントだと思うんですね。で、これあくまで僕の
我認為重點在於為什麼編碼能力提升會帶來邏輯思考能力和問題解決能力的提升。
13:57.000–14:05.079
、ま、仮説レベルの話なんですけれども、ポイントはトレーニングデータにあったと思うんですよ。今日はコーディング能力を
這僅是我的假設層面,我認為重點在於訓練數據。
14:05.079–14:10.360
向上させるためのLLMのAIモデルのトレーニングデータって何だ?何だった
用於提升編碼能力的LLM AI模型的訓練數據是什麼?過去是什麼?
14:10.360–14:19.839
かって言うと、おそらくはそのギithubとかあと車内ギットとかで蓄積されているデータだったと思うんですね。で、
也就是說,我認為那些數據應該是積累在GitHub或GitLab等平台的數據。
14:19.839–14:27.639
こういうそのギithubで管理されている情報データってそのプログラムのソースコードだけじゃないんですよ。
在GitHub上管理的資訊數據,並不僅僅是程式的原始碼。
14:27.639–14:43.079
そのギitubに登録されてるものって要は何かそのソフトウェアに問題が発生しましたよっていう時にその問題を解決するために何をすべきかかっていうのを人間が考えてそれを意種っていう単位で登録する
註冊在GitHub上的內容,基本上是指當軟體發生問題時,人類為了解決該問題而思考並應採取的行動,並以「意圖」為單位進行註冊。
14:43.079–14:45.600
わけですね。で、その意種っていうのを
也就是說,為了修復這些意圖,
14:45.600–14:52.480
解決するために、え、みんながソースコードを改善しました。で、改善したら
大家會改善原始碼。而在改善之後,
14:52.480–14:59.440
それをプルリクエストっていうの投げてこれ本体のコードにマージしてくれておうをするんですね。で、そのプルリクエスト
會提交名為Pull Request的請求,要求將這些內容合併到主程式碼中。
14:59.440–15:13.720
が来たらデビューアーっていうソースコードをチェックする人がちゃんと改善されてるのかチェックしてで改善されてなかったら戻してまた直してレビューしてオケーってなったらそれを本体の行動に
當Pull Request到來時,負責檢查原始碼的人會確認是否已妥善改善,如果沒有改善則退回要求修正,經過審查確認OK後,再將其合併到主程式碼中。
15:13.720–15:24.560
マージしますっていう一連のその改善プロセスの全てのなんというか履歴が残ってるわけですよ。で、これを学習させてる
這一系列改善過程的所有歷史記錄都保留下來了。
15:24.560–15:41.279
とすると、ソフトウェア開発者、優れたソフトウェア開発者の仕事をした家庭全部がトレーニングデータになってるということは、AIは優れたソフトウェア開発者のやり口、考え方、仕事の仕方っていうの
如果讓AI學習這些內容,那麼優秀軟體開發者所完成的工作全部都成為了訓練數據,這意味著AI能夠學習到優秀軟體開發者的手法、思維方式和工作方法。
15:41.279–15:56.480
が学べるので、だからコーディング以外の問題を分割して改善していくっていう能力が高まったんじゃないかなという風に思っています。となると今後コーディング以外
因此,我認為這提升了將編碼以外的問題進行分解與改善的能力。那麼,未來在開發能夠執行編碼以外各種工作的AI Agent LLM時,
15:56.480–16:09.000
のいろんな仕事ができるAIエージェントLLMを作っていく上で何が重要になるかってやっぱり僕データだと思ってるんですよ。要はいろんな専門家が仕事をする
我認為最重要的是數據。也就是說,雖然軟體開發者的工作數據保留在GitHub上,
16:09.000–16:19.639
その家庭のデータってGitubにはソフトウェア開発にはギッドハブに残されてるんですけども他の仕事多分ないと思うんですね。で、弁護士の先生が訴訟のため
但其他工作的數據我想應該並不存在。例如律師為了訴訟所做的準備工作系統日誌等,應該並不多見。
16:19.639–16:25.759
の準備を行うなんかシステムのログとかってあんまないと思うんですよ。その結果
結果如何,或者會計專家做了什麼,我想並不存在這樣的數據。
16:25.759–16:32.199
どうしたか、会計の専門家がどうしたとかてことないと思うんですね。だから今その
因此,目前像OpenAI這樣的先驅實驗室,也就是被稱為AI模型開發組織的機構,
16:32.199–16:39.759
オープンAIみたいなフロンティアラボと言われるAIモデルの開発組織はそこのデータを取りに行ってるんですよ。具体的
像是 OpenAI 這樣的前沿實驗室(Frontier Lab),也就是開發 AI 模型的組織,他們會去獲取這些數據。具體來說
16:39.759–16:56.600
にはそのスケールAIみたいな専門家にトレーニングデータの作成を依頼する会社っていうのがあるんですが、そこに依頼して医者とか弁護士とかその金融の専門家のクオン津とかそういう人たちを時給
存在像Scale AI這樣的公司,它們委託專家創建訓練數據,並僱用醫生、律師、金融專家等人員,
16:56.600–17:14.760
200ドルとか250ドルで雇ってで法律家が仕事にする上で作ってるデータというか法律化に実際の仕事をさせてそれをデータとしてアップロードしてもらいますよとかお医者さんに新電を読ませてここ
以每小時200美元或250美元的薪資,讓法律從業者執行實際工作並上傳相關數據,或者讓醫生閱讀病歷並記錄他們從中看到了什麼,
17:14.760–17:29.799
から何を見ますかみたいなのを記録してもらうとかあとはAIモデルは実際にこうCTスキャンの画像を診断した結果とかを見せてそれを添索してもらうだとかそういうような仕事を今大量にさせてその
此外,還讓AI模型展示實際的CT掃描影像診斷結果並進行審查,現在正大量進行此類工作,
17:29.799–17:36.360
データがえ学習に使われ始めてるんですね。だから今メタがこな間だ、え、ミューズ
這些數據開始被用於學習。因此,目前Meta正在不斷升級其
17:36.360–17:48.280
スパークっていうのをどんどんバージョンアップさせていて、それの性能がすごく上がってるんですけども、この背景にはそのさっき言ったSKAIっていう教師データの作成サービスの創業者をしてる
名為Musa Spark的產品,其性能大幅提升,而在這背後,是剛才提到的Scale AI創始人
17:48.280–17:54.720
アレクサンドルンっていう人が去年メタのAI開発のトップになったんですよ。教子
Alexander在去年成為Meta AI開發的負責人。考慮到負責創建訓練數據服務的公司的創始人成為Meta AI部門的負責人後,Meta AI模型的性能大幅提升,
17:54.720–18:10.390
データを作るサービスの会社のトップが創業者がメタのAI回数のトップになったらメタのAIモデルの性能がすごく上がったっていうことを考えると多分データの力が効いてきてると思うんですね。
考慮到數據服務公司的創業者成為 Meta AI 負責人後,Meta 的 AI 模型性能大幅提升,我認為這很可能是數據的力量在發揮作用。
18:10.400–18:13.400
なので、よりろんな専門領域で教育データが蓄積されて、それがトレーニングに回れば回るほど、今言ってなとか医療だとか金融だとかそういったところの能力がこの先どんどんどんどん上がってきて適用領域が増えていくんじゃないかなと思ってるので、ここの部分非常にこれから注目していきたいという風に思っております。
因此,我認為隨著更多專業領域的訓練數據被積累並投入訓練,未來在醫學、金融等領域的能力將不斷提升,應用範圍也會擴大,所以我非常關注這部分。