如果你最近在自己電腦上跑過原版的謙問3.827B,大概率要被他氣死。
因為現在只要在本地部署這個模型的人,幾乎都在抱怨同一件事。
那個所謂的深度思考模式用起來簡直像壽形。
你問他一個微不足道的小問題,他可以在後台想個整整15分鐘。
你眼睜睜看著他在屏幕後頭自言自語,死訊話按著說廢話,把草稿寫滿了就插掉最後吐出來的答案,往往只有兩三個字。
這種毛病在技術上叫做病態過度思考,模型並沒有真正的解決問題,他只是在反覆的推演,不停的繞圈子,越想越複雜。
今天這個視頻要講的就是一個專門知這種毛病的開源版本,Swift,簽問3.827B。
開源設計他通過算法把沒得用的那些思考,就是那種自刀自演的廢話給戒掉了。
在答題準確率完全沒有下降的前提下,他把思考過程中的消耗直接砍掉了
58.3%。本地速度直接提升了將近兩倍。
今天我們就從文件怎麼下,一路到怎麼在本地跑起來,最後上幾個大項目,看一下治好了這種精神內耗的LTB模型
在你的機箱裡面它到底有多猛。
先打開HoganFace模型的主頁,找到這個項目的頁面。
在頁面正上找到這個叫做文件和版本的標章點進去。
一進來的裡面密密麻麻列了十幾個以GGUF結尾的文件,不要亂點。
你要看準你的顯卡實際顯存到底有多大,選擇屬於你的那一個。
看這個模型的尾部,它這個名字的尾部,顯卡只有8G顯存的,你就找
IQ2XXS.GGUF的文件體積大約在9.09GB。
顯卡在12G顯存的,你就找IQ3XXS.GGUF,文件大概是12.5GB。
顯卡是16G顯存的,就找Q3KM.GGUF,文件大概是13.6GB。
如果你機箱裡面查的164G的顯存大卡,就找Q4KM.GGUF,文件大概是18個G。
在看準的這個文件名最右側有一個小小的下載箭頭,點它就可以下載。
這裡要提醒你一句,將近10個G的單體大文件,如果直接用瀏覽器自帶的下載器下,
極其容易中途斷流或者卡死,到時候重新來過的話要把人氣出內傷。
最聰明的辦法就是在這個下載箭頭上面點擊這個鼠標右鍵,然後選擇複製鏈接地址,
然後把你長用的多線成功下載工具打開,把這個鏈接貼進去,然後拉下來,
下載的速度會瞬間把你的框帶泡滿。
為了讓絕大多數普通配置的機器都可以看懂,我就以這個4和8G顯存的IQ2XXS為例,
直接把它下到電腦裡面。
模型文件下完了之後,接下來準備運行它的底層引擎。
打開LAMA.CPP的GET HAWP頁面,進入到它的發布頁,這個頁面它的版本有點多。
如果你是Windows系統加上因為打顯卡,就直接盯到Windows的第4排,
Windows X64 CUDA12,
還有這個CUDA12.4 DLOS。
仔細看,這一行它其實是用橫線
格開的兩個獨立下載鏈接,很多人在這裡它要搞錯。
鼠標點擊前面的Windows X64 CUDA12下載下來的是
主程序壓縮包,緊接著點擊後面的CUDA12.4 DLOS
下載下來的是顯卡依賴庫的壓縮包,
裡面全部都是顯卡驅動必須要用的的
動態鏈接庫文件,把這兩個壓縮包和剛才下好的模型一共三個東西準備好,
現在就可以開始組裝了。
為了以後文件不亂,這裡的鑪盤的根目錄就新建一個文件夾,
名字你就隨便起英文了就可以了,
我就叫它swift簽文,
第一步把LAMA.CPP的主程序壓縮包解壓出來,
打開解壓後的文件夾,
讓Ctrl加A全選,把裡面的所有文件一個部落的全部剪接出來,
然後粘貼到剛才新建的swift簽文件夾裡面,
第二步把剛才下載的第二個壓縮包,
也就是那個動態鏈接庫的壓縮包也解壓出來,
同樣全部選擇裡面的所有文件剪接出來,
直接粘貼到swift的簽文文件夾裡面,
現在核心的主程序和顯卡驅動依賴庫就在同一個目錄裡面徹底活體了,
第三步在swift的簽文目錄裡面,
又接著新建一個文件夾,
名字就叫modus,把你剛才下載的那個大模型文件,
移動剪接到這個modus文件夾裡面,
為了等一下顯密密不把手指頭靠斷的話,
順便把這個模型的名字改短一點,
比如就改成swift.lgb.gf,
底層文件擺放整齊了,
最後來做一個一鍵啟動的開關,
就在這個文件夾的根目錄下面,
右鍵新建一個文本文檔,
把魔人的名字給它改成啟動.bat,
這裡要注意,如果你的電腦默認隱藏了文件快載名的話,
一定要去文件夾的選項裡面,
把這個顯示文件快載名給它勾上,
確保後面的那個txt後綴變成.bat,
右鍵點擊這個啟動.bat,
選擇編輯,把啟動命令的代碼給它貼進去,
然後保存,
走到這一步,
其實整個boss就已經徹底完成了,
鼠標雙擊這個啟動.bat,
屏幕上面它會彈出一個命令行中端窗口,
在這個窗口你可能會看到一些制服,
它顯示成了這個亂嘛,
這裡不用慌,
這個單純就是Windows控制台,
它默認字體編碼的小問題完全不影響,
以後有空了的時候可以改,
現在就直接無視,
給它十幾秒的時間,
讓它把那個9G的模型自動搬到顯卡顯存裡面去,
當窗口的最下面它顯示出了http127.0.0.1,
8080這個本地網址的時候,
就代表整個模型它已經在後台跑通了,
這裡要記住這個黑色的中端窗口不要關,
關了的話後台服務它就斷了,
把它最小化就可以了,
服務跑起來了直接用瀏覽器打開剛才看到的本地地址,
一個非常乾淨原生的大模型聊天交付界面就直接在屏幕上展開了,
你可以一眼看到在聊天框框的邊上它顯示的正式剛才放進來的27B模型的名字,
為了測試它到底有沒有把思考的廢話砍乾淨,
速度是不是整理能夠翻倍,
而且至少沒有降,
我就讓它寫了一個重力球小遊戲,
給它一句提示詞,
那個原本要轉半天圈圈的思考框,
只短暫的跳了幾下就直接結束了,
緊接著是代碼輸出的速度非常快,
並且沒有優化過的原本生產的速度快了一倍都不止,
打開遊戲可以直接耍,
介面設計的相當完整,
點擊畫面下方的加號按鈕這個屏幕裡面,
它會不斷地添加不同顏色的小球,
把鼠標按在小球上面拖,
可以直接把這個球像砲彈一樣給它泡射出去,
速度極快,
在空白處點擊這個鼠標左邊的時候,
它會炸出來一大圈的彩色粒子爆炸效果,
就像放煙花一樣,
所有的小球它撞到屏幕的邊緣的時候,
碰撞反彈的也非常的自然,
一句話就可以生成這麼一個獨立小遊戲,
不僅能玩視覺效果,
這個動效也相當的OK,
我又讓它寫了一個3D旋轉地球,
思考的過程極其的乾脆,
兩三下就把邏輯理順了,
然後把代碼寫出來了,
跟原版那種憋半天也不知道在做什麼的體驗,
完全就是兩個物種,
瀏覽器裡面運行,
屏幕正中央是一個可以在三位空間裡面360度任意旋轉的3D地球,
支持鼠標滾爐隨意放大縮小,
這個球體邊緣還有一層發光的大氣層,
表面不僅把海洋草地、沙漠、
還有這個白色的雪山全部都畫出來了,
連南極北極,
它兩極的冰蓋和各大洲的大陸板塊都一千一出,
雖然陸地這個形狀它可能不一定完全對應現實地圖,
但是在這個漆黑的星空背景下,
轉動這顆星球就跟坐在宇宙飛船窗邊編看行星,
這個效果是一模一樣的,
最後也是我個人最喜歡的,
讓它寫來一個小鳥穿廣道的遊戲,
這個藍天白雲綠色的草地,
畢竟全部都鋪滿了,正中央是一隻小鳥,
你只要點下鼠標這個小鳥,
它就要克服重力,
往上跳一下,
你必須讓它從管道的空斜中這個鑽過去,
只要插到水管的邊緣或者摔到地上,遊戲就會當場結束,
然後跳出得飛,重新開始的暗游,
摸完了好多把,也沒有挺過幾根水管,
但是回過頭來看,沒有任何多餘的調適,
就是就憑一段普普通通的提示詞,
這個模型在短短幾十秒內,
不僅把中力計算,障礙物循環,
死亡判定,還有這個計費系統,
全部寫得嚴絲活鳳,
這種快速交付口用代碼的能力,
徹底證明了它砍掉的58%,
都是沒得用的廢話,
核心智商沒有受到半點的影響,
猜到這裡答案其實已經很明顯了,
這就是開源社區最新針對過度思考做出的
Swift的千萬3.82起源,
他把原本在後代空撞亂說話全部幹掉了,
直接提出兩倍,顯存占用更低,
而且不用再毫無意義的幹等了,
今天用到的所有東西我都已經準備好了,
你直接去下方拿就可以了,
別忘了點贊訂閱支持一下,
我們下期再見。