OpenAI 找自家工程師 拍了一支九十秒的片 第一句話是——這是我第一次 覺得,自己在工作上作弊 一家公司不會拿作弊兩個 字形容自己的產品 除非那個落差大到不講不行 他講的這個東西叫 Ultrafast 八月中才開放預覽 這是我第一次覺得 自己在工作上作弊 系統一掛掉就像有人 按下產線的緊急停止鈕 我會叫它盯著那個頻道 當我的眼睛和耳朵去 查找出根本原因 順便回答陸續進來的人問的問題 那句作弊,講的是等待消失了 以前丟一個問題出去 要等好幾分鐘 等的時候人會跑去做別的事 回來還得重新想剛剛做到哪 Ultrafast 拿掉的就是這一段 只是這種快沒有免費送 帳單記在別的地方 先講清楚 Ultrafast 是什麼 它不是一顆新模型 GPT-5. 6 Sol 是 OpenAI 目前最強的那一支,Ultrafast 做的事情是讓同一顆 Sol 換 一種硬體跑,參數一個都沒改 速度差多少? 官方給的數字是每秒最多 七百五十個 token 最快是原本標準速度的十四倍 七百五十個 token 大概是 五百個中文字——它一秒鐘寫 出來的量,你差不多要讀一分鐘 這種東西 OpenAI 叫它服務層級 同一顆模型 你可以選它要跑多快,價錢跟著變 模型選單上那個 Ultra 就是這一層 聽起來很陌生,但這條線 OpenAI 早就在用了——它的 產品本來就是照這個邏輯排的 這條線怎麼分,OpenAI 自己在一場給開發者的 說明會上講得很清楚 先聽他們怎麼介紹 GPT-5. 6 這一家人 三個型號各站在什麼位置 如果你還不熟,這一家族有 三個新型號:Sol、Terra 和 Luna Sol 是我們的前沿模型 也是旗艦,處理 最複雜的程式與專業工作 Terra 是很好用的日常 主力適合那種智力 成本和反應時間都要顧的工作 至於 Luna 我們很喜歡它回饋 也很好,適合高流量 智力要求沒那麼高但很在意 成本和反應時間的場景 三個型號站在同一條線上的 三個位置:Sol 最聰明,Luna 最便宜、反應最快,Terra 在中間 Ultrafast 沒有動這一排 它動的是另外一排——同 一顆 Sol,要跑多快 腦沒有換,那速度 是從哪裡多出來的? 答案在晶片 Ultrafast 這一層跑的不是 一般的繪圖晶片,是一家叫 Cerebras 的公司做的晶圓級晶片 一般晶片是從一整片晶圓上 切出很多顆小的,Cerebras 反過來,整片晶圓就做成一顆 為什麼這樣會快? 模型的參數平常放在記憶體裡 晶片每算一個字 都要先把用得到的參數搬進 運算單元,算完再搬下一批 真正卡住速度的就是這個搬字 Cerebras 那顆晶片上直接 做了四十四 GB 的高速記憶體 參數就住在上面,不用搬 這件事的重點在後面 參數一個都沒有少 少掉的只是搬運那道手續 所以官方才敢說 這一層跟標準的 Sol 一樣聰明 這句話等一下拿數字檢查,先記著 機制講完,回到人身上 快十四倍聽起來很像規格 表上的數字,真正有意思的是 它落到工作上會變成什麼樣 OpenAI 的工程師舉了 一個很具體的例子 一件原本要花一到兩小時的工作 有句老話說,快本身就是 一種功能——因為一個東西快到 某個程度做事的方式就會跟著變 以前光是收資料、整理 統一格式,再補上脈絡 做出能幫我和團隊做決策的 判斷材料,要花一到兩個小時 現在十到十五分鐘就好 有時候幾乎是即時的 一到兩小時變成十到十五分鐘 這是省時間 但真正有意思的是後面 這句——快到某個程度以後 連做法本身都會換掉 用 Ultrafast 我可以同時把所有地方都搜一遍 而且是平行進行,這真的很不可思議 而且說實話,Ultrafast 快到我通常不用分心去做 別的事也拿得到一樣好的結果 一旦進入寫程式的心流,我覺得 在同樣的時間裡——時間才是 真正的限制——我能用到的智力變多了 這裡有兩件事值得拆開講 第一件是同時查很多地方 以前要查一件事故 你得一個系統一個系統翻過去 因為每翻一次都要等 等得起的次數有限 你就只能挑最可能的那幾個地方找 快到不用等的時候 十個地方可以一起查 找到的機率當然不一樣 第二件更微妙 他說快到不用分心——等模型的 那幾分鐘,你不會坐在那裡 發呆,你會去回訊息 去看別的東西,等它跑完回來 還得把剛剛的脈絡重新撿一遍 被吃掉的從來不是那幾分鐘 是回神的那一段 這就是那句老話的意思 一個東西快到某個程度 人做事的方式會跟著變 講到這裡都是好話,該來檢查一下 跑這麼快,它有沒有變笨 目前有兩組數字 都是 Cerebras 自己測的 第一組是一份兩千五百題的 博士級考題,Ultrafast 跑 完花十一小時十一分 對照組要七十八小時二十七分 第二組挑的是有經濟價值的 知識工作,整件事從頭到尾快 五點六倍,而且品質沒有掉 兩組數字都很漂亮 但都是廠商自己測的 目前沒有第三方複驗 聽的時候自己打個折 快速重構一次程式碼幾乎不花 什麼錢,而且幾乎是瞬間完成 這確實讓我們做得更快 出貨更快而且這股節奏可以撐得更久 因為它夠快 夠有效智力的品質不會因此打折 我們永遠想要最聰明 又跑得最快的 有了 5. 6 Ultrafast 這兩件事不用二選一 官方說不用二選一 這句話成立 但它講的是聰明程度不用二選一 真正被拿去換的 東西在別的地方 OpenAI 自己在同一場說明 會上講過這個道理——先說清楚 接下來這段講的是 Codex 裡面的一個開關 跟今天的 Ultrafast 不是 同一個東西,不過道理一模一樣 第二個建議是想想 什麼時候值得拿 token 換時間 有不少情況是你就想讓 它跑快一點願意多花 一些 token 來省自己的時間 Fast mode 就是最明顯的例子 你可以開 Fast mode 讓輸出用 1. 5 倍速跑 不過額度也會扣得比較快 Codex 那個開關開下去跑 一點五倍速,額度扣得比較快 API 那邊是同一套邏輯 只是分得更清楚 一共三層:最上面是標準速度 中間那層叫 Fast 大約兩點五倍速 價錢剛好是兩倍 最下面那條是 Ultrafast 最快十四倍 Ultrafast 的價格呢? 官方到現在沒有公布 而且它現在是限量預覽 只開放給少數 API 客戶 要填表申請 講白了,這個開關 現在打不開——一般人打不開 大部分公司也打不開 最後留一個判斷給你 模型跑得快 只在你卡在等模型的時候有用 如果卡住你的是資料調不出來 權限沒開、或者一件事還沒有人 拍板,那顆晶片再快也救不了 看到十四倍這種數字 先問自己一句 我平常在等的,真的是它嗎? 不過那句老話還是成立的 過去兩年,模型是往更聰明的 方向走;這一次拿出來賣的 是同一顆腦跑得更快 這條線接下來會走 到哪,值得盯著 覺得這樣拆一遍有幫助 記得訂閱可波 AI 白話 我們下支片見