WEBVTT

00:00.000 --> 00:05.880
如果你最近在自己電腦上跑過原版的謙問3.827B,大概率要被他氣死。

00:05.880 --> 00:11.000
因為現在只要在本地部署這個模型的人,幾乎都在抱怨同一件事。

00:11.000 --> 00:14.600
那個所謂的深度思考模式用起來簡直像壽形。

00:14.600 --> 00:19.200
你問他一個微不足道的小問題,他可以在後台想個整整15分鐘。

00:19.200 --> 00:27.640
你眼睜睜看著他在屏幕後頭自言自語,死訊話按著說廢話,把草稿寫滿了就插掉最後吐出來的答案,往往只有兩三個字。

00:27.640 --> 00:37.360
這種毛病在技術上叫做病態過度思考,模型並沒有真正的解決問題,他只是在反覆的推演,不停的繞圈子,越想越複雜。

00:37.360 --> 00:44.020
今天這個視頻要講的就是一個專門知這種毛病的開源版本,Swift,簽問3.827B。

00:44.020 --> 00:50.160
開源設計他通過算法把沒得用的那些思考,就是那種自刀自演的廢話給戒掉了。

00:50.160 --> 00:56.560
在答題準確率完全沒有下降的前提下,他把思考過程中的消耗直接砍掉了

00:56.560 --> 01:01.160
58.3%。本地速度直接提升了將近兩倍。

01:01.160 --> 01:09.100
今天我們就從文件怎麼下,一路到怎麼在本地跑起來,最後上幾個大項目,看一下治好了這種精神內耗的LTB模型

01:09.100 --> 01:11.400
在你的機箱裡面它到底有多猛。

01:11.400 --> 01:15.500
先打開HoganFace模型的主頁,找到這個項目的頁面。

01:15.500 --> 01:19.340
在頁面正上找到這個叫做文件和版本的標章點進去。

01:19.340 --> 01:25.740
一進來的裡面密密麻麻列了十幾個以GGUF結尾的文件,不要亂點。

01:25.740 --> 01:30.860
你要看準你的顯卡實際顯存到底有多大,選擇屬於你的那一個。

01:30.860 --> 01:37.000
看這個模型的尾部,它這個名字的尾部,顯卡只有8G顯存的,你就找

01:37.000 --> 01:43.400
IQ2XXS.GGUF的文件體積大約在9.09GB。

01:43.400 --> 01:53.380
顯卡在12G顯存的,你就找IQ3XXS.GGUF,文件大概是12.5GB。

01:53.380 --> 02:02.600
顯卡是16G顯存的,就找Q3KM.GGUF,文件大概是13.6GB。

02:02.600 --> 02:10.280
如果你機箱裡面查的164G的顯存大卡,就找Q4KM.GGUF,文件大概是18個G。

02:10.280 --> 02:15.920
在看準的這個文件名最右側有一個小小的下載箭頭,點它就可以下載。

02:15.920 --> 02:22.560
這裡要提醒你一句,將近10個G的單體大文件,如果直接用瀏覽器自帶的下載器下,

02:22.560 --> 02:28.200
極其容易中途斷流或者卡死,到時候重新來過的話要把人氣出內傷。

02:28.200 --> 02:36.640
最聰明的辦法就是在這個下載箭頭上面點擊這個鼠標右鍵,然後選擇複製鏈接地址,

02:36.640 --> 02:41.760
然後把你長用的多線成功下載工具打開,把這個鏈接貼進去,然後拉下來,

02:41.760 --> 02:44.080
下載的速度會瞬間把你的框帶泡滿。

02:44.080 --> 02:51.760
為了讓絕大多數普通配置的機器都可以看懂,我就以這個4和8G顯存的IQ2XXS為例,

02:51.760 --> 02:53.280
直接把它下到電腦裡面。

02:53.280 --> 02:56.860
模型文件下完了之後,接下來準備運行它的底層引擎。

02:56.860 --> 03:02.760
打開LAMA.CPP的GET HAWP頁面,進入到它的發布頁,這個頁面它的版本有點多。

03:02.760 --> 03:08.900
如果你是Windows系統加上因為打顯卡,就直接盯到Windows的第4排,

03:08.900 --> 03:12.220
Windows X64 CUDA12,

03:12.220 --> 03:16.320
還有這個CUDA12.4 DLOS。

03:16.320 --> 03:20.160
仔細看,這一行它其實是用橫線

03:20.420 --> 03:25.020
格開的兩個獨立下載鏈接,很多人在這裡它要搞錯。

03:25.280 --> 03:29.880
鼠標點擊前面的Windows X64 CUDA12下載下來的是

03:30.140 --> 03:36.280
主程序壓縮包,緊接著點擊後面的CUDA12.4 DLOS

03:36.540 --> 03:39.880
下載下來的是顯卡依賴庫的壓縮包,

03:39.880 --> 03:42.440
裡面全部都是顯卡驅動必須要用的的

03:42.440 --> 03:48.080
動態鏈接庫文件,把這兩個壓縮包和剛才下好的模型一共三個東西準備好,

03:48.080 --> 03:49.600
現在就可以開始組裝了。

03:49.600 --> 03:54.480
為了以後文件不亂,這裡的鑪盤的根目錄就新建一個文件夾,

03:54.720 --> 03:56.780
名字你就隨便起英文了就可以了,

03:56.780 --> 03:59.080
我就叫它swift簽文,

03:59.080 --> 04:03.180
第一步把LAMA.CPP的主程序壓縮包解壓出來,

04:03.440 --> 04:05.220
打開解壓後的文件夾,

04:05.220 --> 04:09.840
讓Ctrl加A全選,把裡面的所有文件一個部落的全部剪接出來,

04:09.840 --> 04:13.940
然後粘貼到剛才新建的swift簽文件夾裡面,

04:14.200 --> 04:16.760
第二步把剛才下載的第二個壓縮包,

04:16.760 --> 04:20.340
也就是那個動態鏈接庫的壓縮包也解壓出來,

04:20.600 --> 04:23.920
同樣全部選擇裡面的所有文件剪接出來,

04:24.180 --> 04:26.480
直接粘貼到swift的簽文文件夾裡面,

04:26.740 --> 04:32.120
現在核心的主程序和顯卡驅動依賴庫就在同一個目錄裡面徹底活體了,

04:32.360 --> 04:34.920
第三步在swift的簽文目錄裡面,

04:35.180 --> 04:36.980
又接著新建一個文件夾,

04:36.980 --> 04:41.840
名字就叫modus,把你剛才下載的那個大模型文件,

04:42.100 --> 04:44.920
移動剪接到這個modus文件夾裡面,

04:45.180 --> 04:47.740
為了等一下顯密密不把手指頭靠斷的話,

04:47.980 --> 04:50.800
順便把這個模型的名字改短一點,

04:51.060 --> 04:53.880
比如就改成swift.lgb.gf,

04:54.140 --> 04:55.420
底層文件擺放整齊了,

04:55.660 --> 04:57.720
最後來做一個一鍵啟動的開關,

04:57.980 --> 04:59.760
就在這個文件夾的根目錄下面,

05:00.020 --> 05:02.320
右鍵新建一個文本文檔,

05:02.580 --> 05:05.400
把魔人的名字給它改成啟動.bat,

05:05.400 --> 05:08.980
這裡要注意,如果你的電腦默認隱藏了文件快載名的話,

05:08.980 --> 05:10.940
一定要去文件夾的選項裡面,

05:11.200 --> 05:13.600
把這個顯示文件快載名給它勾上,

05:13.840 --> 05:18.460
確保後面的那個txt後綴變成.bat,

05:18.720 --> 05:20.640
右鍵點擊這個啟動.bat,

05:20.760 --> 05:23.480
選擇編輯,把啟動命令的代碼給它貼進去,

05:23.580 --> 05:24.160
然後保存,

05:24.340 --> 05:25.120
走到這一步,

05:25.120 --> 05:27.420
其實整個boss就已經徹底完成了,

05:27.680 --> 05:29.980
鼠標雙擊這個啟動.bat,

05:30.240 --> 05:32.620
屏幕上面它會彈出一個命令行中端窗口,

05:32.620 --> 05:35.180
在這個窗口你可能會看到一些制服,

05:35.180 --> 05:36.460
它顯示成了這個亂嘛,

05:36.720 --> 05:37.480
這裡不用慌,

05:37.480 --> 05:39.020
這個單純就是Windows控制台,

05:39.020 --> 05:41.840
它默認字體編碼的小問題完全不影響,

05:42.100 --> 05:43.620
以後有空了的時候可以改,

05:43.620 --> 05:44.900
現在就直接無視,

05:45.160 --> 05:46.440
給它十幾秒的時間,

05:46.700 --> 05:50.540
讓它把那個9G的模型自動搬到顯卡顯存裡面去,

05:50.800 --> 05:55.140
當窗口的最下面它顯示出了http127.0.0.1,

05:55.400 --> 05:57.460
8080這個本地網址的時候,

05:57.700 --> 05:59.760
就代表整個模型它已經在後台跑通了,

05:59.760 --> 06:02.320
這裡要記住這個黑色的中端窗口不要關,

06:02.320 --> 06:04.120
關了的話後台服務它就斷了,

06:04.360 --> 06:05.640
把它最小化就可以了,

06:05.900 --> 06:08.980
服務跑起來了直接用瀏覽器打開剛才看到的本地地址,

06:09.240 --> 06:14.360
一個非常乾淨原生的大模型聊天交付界面就直接在屏幕上展開了,

06:14.600 --> 06:21.260
你可以一眼看到在聊天框框的邊上它顯示的正式剛才放進來的27B模型的名字,

06:21.520 --> 06:23.820
為了測試它到底有沒有把思考的廢話砍乾淨,

06:24.080 --> 06:25.620
速度是不是整理能夠翻倍,

06:25.880 --> 06:26.640
而且至少沒有降,

06:26.640 --> 06:29.200
我就讓它寫了一個重力球小遊戲,

06:29.460 --> 06:30.480
給它一句提示詞,

06:30.740 --> 06:32.780
那個原本要轉半天圈圈的思考框,

06:33.040 --> 06:35.600
只短暫的跳了幾下就直接結束了,

06:35.860 --> 06:38.160
緊接著是代碼輸出的速度非常快,

06:38.420 --> 06:42.260
並且沒有優化過的原本生產的速度快了一倍都不止,

06:42.520 --> 06:44.040
打開遊戲可以直接耍,

06:44.300 --> 06:45.580
介面設計的相當完整,

06:45.840 --> 06:48.140
點擊畫面下方的加號按鈕這個屏幕裡面,

06:48.400 --> 06:50.960
它會不斷地添加不同顏色的小球,

06:50.960 --> 06:53.000
把鼠標按在小球上面拖,

06:53.260 --> 06:56.600
可以直接把這個球像砲彈一樣給它泡射出去,

06:56.840 --> 06:57.620
速度極快,

06:57.880 --> 06:59.660
在空白處點擊這個鼠標左邊的時候,

06:59.920 --> 07:03.240
它會炸出來一大圈的彩色粒子爆炸效果,

07:03.500 --> 07:04.520
就像放煙花一樣,

07:04.780 --> 07:07.340
所有的小球它撞到屏幕的邊緣的時候,

07:07.600 --> 07:09.640
碰撞反彈的也非常的自然,

07:09.900 --> 07:12.960
一句話就可以生成這麼一個獨立小遊戲,

07:13.220 --> 07:14.760
不僅能玩視覺效果,

07:15.020 --> 07:17.320
這個動效也相當的OK,

07:17.580 --> 07:20.140
我又讓它寫了一個3D旋轉地球,

07:20.400 --> 07:21.920
思考的過程極其的乾脆,

07:22.180 --> 07:23.460
兩三下就把邏輯理順了,

07:23.720 --> 07:25.000
然後把代碼寫出來了,

07:25.260 --> 07:28.080
跟原版那種憋半天也不知道在做什麼的體驗,

07:28.320 --> 07:29.600
完全就是兩個物種,

07:29.860 --> 07:30.880
瀏覽器裡面運行,

07:31.140 --> 07:36.520
屏幕正中央是一個可以在三位空間裡面360度任意旋轉的3D地球,

07:36.780 --> 07:39.340
支持鼠標滾爐隨意放大縮小,

07:39.860 --> 07:42.660
這個球體邊緣還有一層發光的大氣層,

07:42.920 --> 07:45.740
表面不僅把海洋草地、沙漠、

07:46.000 --> 07:48.300
還有這個白色的雪山全部都畫出來了,

07:48.560 --> 07:50.100
連南極北極,

07:50.340 --> 07:54.440
它兩極的冰蓋和各大洲的大陸板塊都一千一出,

07:54.700 --> 07:58.540
雖然陸地這個形狀它可能不一定完全對應現實地圖,

07:58.800 --> 08:00.840
但是在這個漆黑的星空背景下,

08:01.100 --> 08:05.700
轉動這顆星球就跟坐在宇宙飛船窗邊編看行星,

08:05.960 --> 08:07.500
這個效果是一模一樣的,

08:07.500 --> 08:09.300
最後也是我個人最喜歡的,

08:09.540 --> 08:12.100
讓它寫來一個小鳥穿廣道的遊戲,

08:12.360 --> 08:14.660
這個藍天白雲綠色的草地,

08:14.920 --> 08:17.740
畢竟全部都鋪滿了,正中央是一隻小鳥,

08:18.000 --> 08:19.780
你只要點下鼠標這個小鳥,

08:20.040 --> 08:21.060
它就要克服重力,

08:21.320 --> 08:22.600
往上跳一下,

08:22.600 --> 08:26.180
你必須讓它從管道的空斜中這個鑽過去,

08:26.440 --> 08:30.020
只要插到水管的邊緣或者摔到地上,遊戲就會當場結束,

08:30.280 --> 08:32.580
然後跳出得飛,重新開始的暗游,

08:32.840 --> 08:35.140
摸完了好多把,也沒有挺過幾根水管,

08:35.400 --> 08:38.220
但是回過頭來看,沒有任何多餘的調適,

08:38.220 --> 08:40.260
就是就憑一段普普通通的提示詞,

08:40.520 --> 08:42.320
這個模型在短短幾十秒內,

08:42.580 --> 08:45.380
不僅把中力計算,障礙物循環,

08:45.640 --> 08:47.440
死亡判定,還有這個計費系統,

08:47.700 --> 08:49.480
全部寫得嚴絲活鳳,

08:49.740 --> 08:51.780
這種快速交付口用代碼的能力,

08:52.040 --> 08:54.600
徹底證明了它砍掉的58%,

08:54.860 --> 08:56.660
都是沒得用的廢話,

08:56.900 --> 08:59.980
核心智商沒有受到半點的影響,

08:59.980 --> 09:02.120
猜到這裡答案其實已經很明顯了,

09:02.260 --> 09:05.360
這就是開源社區最新針對過度思考做出的

09:05.360 --> 09:07.320
Swift的千萬3.82起源,

09:07.660 --> 09:10.900
他把原本在後代空撞亂說話全部幹掉了,

09:11.280 --> 09:13.640
直接提出兩倍,顯存占用更低,

09:13.720 --> 09:15.800
而且不用再毫無意義的幹等了,

09:16.180 --> 09:18.800
今天用到的所有東西我都已經準備好了,

09:19.080 --> 09:20.620
你直接去下方拿就可以了,

09:20.920 --> 09:22.640
別忘了點贊訂閱支持一下,

09:22.800 --> 09:23.560
我們下期再見。