OpenAI 於 9 月 29 日發布了 GPT-6.1-Sol 。有人說，這種模式使 他們 200 美元檔位的成本降低了 50% 。另一些人則表示，該公司在不經意間將 他們的訂閱使用量減少了 50%，同時也 稱之為「效率提升」。為什麼 同一項聲明會引發兩種截然相反的反應？ 因為「更便宜」和「更貴」的情況都 發生在同一天，這取決於 你是按代幣付費還是按月付費。 這與新模型的好壞無關 ；這是關於 OpenAI 對不同的用戶說了兩件相互矛盾的事情 。今天，我們不討論 6.1 版本是否 值得使用；我們將澄清三 件事。首先，為什麼 標價相同的車型，實際帳單金額卻相差 10 倍？其次，哪些官方 數據與獨立評估相符， 哪些不符？第三，如何 判斷它是否適合你？好的， 我們從第一個開始。 GPT-6.1 不是旗艦型號。它是 9 月 22 日發布的 GPT-6-Sol 的升級版。 OpenAI 目前的產品線大致如下。 其中，GPT-6-Ultra 功能最 強大，價格也最昂貴。中檔次， GPT-6-Sol 的表現稍弱， 價格也更便宜。最底層的 GPT-6-Lite 表現 最弱，價格也最便宜。 6.1-Sol 的官方定位如下。 以 Ultra 五分之一的價格提供接近 Ultra 的智慧。 定價如下：Ultra 輸入 10 美元 ，輸出 50 美元。 6.1-Sol 的輸入為 2 美元 ，輸出為 10 美元。 Lite 的 輸入價格為 0.10 美元，輸出價格為 0.50 美元。如果用 Ultra 除以 Sol，結果剛好是 5 倍。這就是官方 聲明中所說的五分之一價格的意思。 但這只是單價。但 真正的代價則完全是另一 回事。為什麼？ 9 月 29 日，有人 在 X 上發布了一張圖表，標題是： 同樣是 2 美元/10 美元的 價格，帳單金額可能會相差 10 倍。他們在比較什麼？ GPT- 6.1-Sol，輸入成本為 2 美元，產出成本為 10 美元。 克勞德索內特 5.5，投入 2 美元，產出 10 美元 。價格相同，但 透過人工分析計算的每項任務成本 顯示，5.5 為 7.60 美元 ，而 6.1-Sol 為 0.72 美元。相差 10.6倍。為什麼？因為十四行詩 5.5 非常冗長。 在基準測試中，它平均每個任務輸出 193,000 個 token。 這是人工智慧分析測試的模型中最高的 。它 比 Opus 5.5 多 60%，大約是 GPT-6-Ultra 的 7 倍。至於 6.1-Sol，人工 分析發現其輸出量 實際上比舊版本高出 10% 到 30% 。然而，其每項任務的成本 仍然只有 Sonnet 5.5 的十分之一左右。它價格更低，不是因為 單價更低，而是因為它的內容更少 。兩款產品單價相同，但 一款產量更高，另一款產量 更低。當然，賬單會有所不同。 這是我們首先 需要理解的事情。實際成本並未 列在價目表上。解決了令牌計數問題後， 讓我們來看看 資料。其中兩項來自官方排行榜，兩項來自獨立評估。總共有四個數字。第一項： 75.2 對 74.1。 OpenAI 的 SWE-bench 發布頁面上有一個圖表。它衡量人工智慧在真實程式碼庫中 完成 複雜軟體工程任務的能力。 o1 有五個推理層次：低、中、高、超高和最高。具體 數字為：低點為 70.0%，價格為 0.17 美元。 Medium 的佔比為 73.2%，價格為 0.42 美元。最高價為 75.2%，價格為 0.65 美元。 Ultra 的漲幅為 74.9%，售價為 0.79 美元。最高為 71.9%，價格為 1.57 美元。 你看， 高級才是最好的。 Max等級 其實退步了。它的價格是高級版的 2.4 倍。 與 Claude 3.5 Sonnet 的最佳作品相比，其得分為 74.1%，售價為 4.43 美元。 o 1 的高水準 得分較高，價格便宜 6.8 倍。 官方說法是它「 正在接近」十四行詩。但數據 顯示它超過了 Sonnet。官方 聲明淡化了結果的影響。 第二個數字：71.9%等於71.9%。這 是 o 1 的 Ultra 和 Max 等級。得分 相同，均為 71.9%，但 Max 的價格是其兩倍。官方數據 顯示：不要將其設定為最大值。 在人工智慧分析排行榜上，情況也是如此。他們的編碼 代理指數 顯示，Ultra 級別 比 Max 級別高 3 分。更高的推理 強度並不總是更好。第三個數字： 52 對 58。數據來自 人工智慧分析的智慧 指數。這是他們 根據實際評估得出的綜合評分。分數分別為 ：克勞德 3.5 Opus 58， 十四行詩 3.5 56，Extra 53，Flash 53，以及 o1 52； o1 最低。但成本 也是最低的。每項任務收費 0.72 美元。 《十四行詩》售價 3.26 美元，《作品 3.5》售價 5.98 美元。 Claude 3.5 Sonnet 售價 7.60 美元。所以問題不在於哪個最好，而是你的任務是否需要 58 分，或者 52 分是否就 足夠了。第四個數字 ：646 對 643 對 728。這是 BigCodeBench 排行榜得分。這不是官方名單， 而是獨立編制的名單 。結果如下：o1：646 分。上一版本：643 分。 GPT-4o：728 分。 o1 只比上一版本高出 3 分。它落後第40名82分。 他們直言不諱地說，該股在自己的基準測試中 大幅波動，但在獨立基準測試中幾乎沒有波動。他們使用的 術語是「以 測試為基準」。 Cognition 的 Frontier Code 1.1 擴充版也是如此； o1 為 60.4%，前 一版本為 60.7%，幾乎持平 。官方排行榜和獨立排行榜呈現兩種不同的結果。好的，暫停一下。 我們現在知道了四個數字 ：首先，它在某些任務上勝過十四行詩。 其次，Max更貴，性能更差。 第三，綜合得分是所有項目中最低的。但成本也是最低的。第四，獨立基準測試的 改進幅度很小。 這四個數字放在一起能告訴你什麼？ 6.1 Sonnet 不是 Opus 的廉價版本。這是一個針對特定任務的效率模型。它並非全能型選手。它是專門的。所以問題來了。 如何判斷它是否適合你？我們將場景分為三類：程式碼修復、批次任務和 重複性工作。如果你每天都要 修復漏洞 或執行大量重複性的知識任務。 6.1 Sonnet 非常適合這種情況。一位開發人員進行了一項實驗。他們在兩個程式碼庫中發現了 105 個 bug。 Opus 得分 45，售價 33 美元。 Sonnet 得分 44，售價 6.56 美元。 Opus 3.5 得分 41.7，售價 58 美元； 6.1 Sonnet 幾乎可以媲美 Opus，而價格卻只有 Opus 的五分之一。但是，他們指出 N = 1， 這意味著他們只進行了一次 實驗。以「Click」作為白領 知識工作的基準。 6.1 十四行詩得分 80.0， 成本 0.18 美元。 Claude 3.5 得分 81.4， 售價 0.89 美元。 對於這些任務，使用 Sonnet 6.1 就足夠了。不要使用 Max。第二類：創意 視覺效果、遊戲和複雜推理。如果你從事 3D 場景、視覺特效或遊戲設計等需要想像的 任務，那麼 6.1 Sonnet 可能不夠用； BridgeBench請它渲染一幅日落海景圖。結論是，它看起來像是另一個價位的日落，而且大海幾乎沒有被渲染出來；有人發了一條推文，獲得了超過 1200 個讚。 Opus 3.5 比 GPT 6.1 好 很多。其他人則 製作了對比影片；在 同樣的「高投入」設定下，結論是 Opus 3.5 在品質、bug 和配色方案方面勝出。 Sonnet 的優點只在於令牌效率更高。 其他人也曾使用邏輯題來測試它。 6.1 Sonnet 設定為“Max”失敗。 Opus 3.5 設定為 「中等」難度輕鬆通過。對於這些任務，請使用 Claude 或 Opus。第三類：科學研究。公司自己 也承認了這一點 。在 TerminalBench Science 基準測試中，6.1 Sonnet 為 57.0%，而 Opus 為 68.1%。官方說法是， 最具挑戰性的科學研究任務應該使用 Opus；對於這些任務， 請使用 Opus，不要為了省幾個錢而嘗試其他方法。 好了，現在你知道了： 6.1 首十四行詩不是廉價的作品；它是一款 用於特定任務的效率工具。如果你的任務與之相符，那就太好了；否則，那就是個陷阱。 還有一件事你需要知道：9 月 29 日，也就是同一天，OpenAI 的 TBO 發布了 一則推文。新版 Pro 200 方案的配額從 20 倍減少到 10 倍。老用戶暫時保留 20 倍的限制。 同 一天，他們推出了 Pro 500 套餐，每月 500 美元，配額提升 25 倍。 API用戶認為它的價格變得更便宜了。 訂閱用戶覺得價格越來越 貴了。所以這不僅僅是發布一款新車型。這是 OpenAI 針對不同使用者群體的重新定價策略。 現在你明白為什麼有些人歡呼雀躍，有些人卻破口大罵了嗎？ 因為他們關注的是兩件不同的事情。最後一點，如果你問我 6.15 版本是否值得使用，我的回答是 不要問它是否值得，而要 問它是否合適。它適用於程式碼修復和批次任務。使用更高等級並開啟最大動力。就創造性和複雜推理能力而言，目前的測試表明它無法勝過克勞德。 繼續使用 Claude 或 Opus。至於科學研究方面，官方指南已經告訴你了。關於使用 Opus 還有一點要注意：如果您是訂閱用戶，您的流量配額已被削減。你需要重新計算一下 是否足夠。如果這還不夠， 要么 升級到 Pro 500，要么切換到 API 並透過代幣付費。 這不是哪個 模型更強的問題。這是OpenAI重新 定價的問題。今天的內容就到這裡。如果你喜歡，記得按讚、追蹤 和分享。 這就是我不斷創作的動力。 下次見。