實際影片長度:9:24.000。原文、繁中、雙語可點擊句子跳轉影片。
0:00.000–0:05.880
zh如果你最近在自己電腦上跑過原版的謙問3.827B,大概率要被他氣死。
0:05.880–0:11.000
zh因為現在只要在本地部署這個模型的人,幾乎都在抱怨同一件事。
0:11.000–0:14.600
zh那個所謂的深度思考模式用起來簡直像壽形。
0:14.600–0:19.200
zh你問他一個微不足道的小問題,他可以在後台想個整整15分鐘。
0:19.200–0:21.907
zh你眼睜睜看著他在屏幕後頭自言自語,
0:21.907–0:23.340
zh死訊話按著說廢話,
0:23.340–0:26.207
zh把草稿寫滿了就插掉最後吐出來的答案,
0:26.207–0:27.640
zh往往只有兩三個字。
0:27.640–0:30.758
zh這種毛病在技術上叫做病態過度思考,
0:30.758–0:33.142
zh模型並沒有真正的解決問題,
0:33.142–0:34.976
zh他只是在反覆的推演,
0:34.976–0:36.260
zh不停的繞圈子,
0:36.260–0:37.360
zh越想越複雜。
0:37.360–0:41.583
zh今天這個視頻要講的就是一個專門知這種毛病的開源版本,
0:41.583–0:42.558
enSwift,
0:42.558–0:44.020
zh簽問3.827B。
0:44.020–0:50.160
zh開源設計他通過算法把沒得用的那些思考,就是那種自刀自演的廢話給戒掉了。
0:50.160–0:56.560
zh在答題準確率完全沒有下降的前提下,他把思考過程中的消耗直接砍掉了
0:56.560–1:01.160
zh58.3%。本地速度直接提升了將近兩倍。
1:01.160–1:03.028
zh今天我們就從文件怎麼下,
1:03.028–1:04.896
zh一路到怎麼在本地跑起來,
1:04.896–1:06.298
zh最後上幾個大項目,
1:06.298–1:09.100
zh看一下治好了這種精神內耗的LTB模型
1:09.100–1:11.400
zh在你的機箱裡面它到底有多猛。
1:11.400–1:15.500
zh先打開HoganFace模型的主頁,找到這個項目的頁面。
1:15.500–1:19.340
zh在頁面正上找到這個叫做文件和版本的標章點進去。
1:19.340–1:25.740
zh一進來的裡面密密麻麻列了十幾個以GGUF結尾的文件,不要亂點。
1:25.740–1:30.860
zh你要看準你的顯卡實際顯存到底有多大,選擇屬於你的那一個。
1:30.860–1:37.000
zh看這個模型的尾部,它這個名字的尾部,顯卡只有8G顯存的,你就找
1:37.000–1:43.400
zhIQ2XXS.GGUF的文件體積大約在9.09GB。
1:43.400–1:46.097
zh顯卡在12G顯存的,
1:46.097–1:48.795
zh你就找IQ3XXS.
1:48.795–1:50.143
enGGUF,
1:50.143–1:53.380
zh文件大概是12.5GB。
1:53.380–2:02.600
zh顯卡是16G顯存的,就找Q3KM.GGUF,文件大概是13.6GB。
2:02.600–2:06.159
zh如果你機箱裡面查的164G的顯存大卡,
2:06.159–2:07.470
zh就找Q4KM.
2:07.470–2:08.407
enGGUF,
2:08.407–2:10.280
zh文件大概是18個G。
2:10.280–2:15.920
zh在看準的這個文件名最右側有一個小小的下載箭頭,點它就可以下載。
2:15.920–2:17.493
zh這裡要提醒你一句,
2:17.493–2:19.764
zh將近10個G的單體大文件,
2:19.764–2:22.560
zh如果直接用瀏覽器自帶的下載器下,
2:22.560–2:28.200
zh極其容易中途斷流或者卡死,到時候重新來過的話要把人氣出內傷。
2:28.200–2:34.131
zh最聰明的辦法就是在這個下載箭頭上面點擊這個鼠標右鍵,
2:34.131–2:36.640
zh然後選擇複製鏈接地址,
2:36.640–2:41.760
zh然後把你長用的多線成功下載工具打開,把這個鏈接貼進去,然後拉下來,
2:41.760–2:44.080
zh下載的速度會瞬間把你的框帶泡滿。
2:44.080–2:47.826
zh為了讓絕大多數普通配置的機器都可以看懂,
2:47.826–2:51.760
zh我就以這個4和8G顯存的IQ2XXS為例,
2:51.760–2:53.280
zh直接把它下到電腦裡面。
2:53.280–2:56.860
zh模型文件下完了之後,接下來準備運行它的底層引擎。
2:56.860–2:57.843
zh打開LAMA.
2:57.843–2:59.810
zhCPP的GET HAWP頁面,
2:59.810–3:01.074
zh進入到它的發布頁,
3:01.074–3:02.760
zh這個頁面它的版本有點多。
3:02.760–3:06.153
zh如果你是Windows系統加上因為打顯卡,
3:06.153–3:08.900
zh就直接盯到Windows的第4排,
3:08.900–3:12.220
enWindows X64 CUDA12,
3:12.220–3:16.320
zh還有這個CUDA12.4 DLOS。
3:16.320–3:20.160
zh仔細看,這一行它其實是用橫線
3:20.420–3:25.020
zh格開的兩個獨立下載鏈接,很多人在這裡它要搞錯。
3:25.280–3:29.880
zh鼠標點擊前面的Windows X64 CUDA12下載下來的是
3:30.140–3:36.280
zh主程序壓縮包,緊接著點擊後面的CUDA12.4 DLOS
3:36.540–3:39.880
zh下載下來的是顯卡依賴庫的壓縮包,
3:39.880–3:42.440
zh裡面全部都是顯卡驅動必須要用的的
3:42.440–3:48.080
zh動態鏈接庫文件,把這兩個壓縮包和剛才下好的模型一共三個東西準備好,
3:48.080–3:49.600
zh現在就可以開始組裝了。
3:49.600–3:54.480
zh為了以後文件不亂,這裡的鑪盤的根目錄就新建一個文件夾,
3:54.720–3:56.780
zh名字你就隨便起英文了就可以了,
3:56.780–3:59.080
zh我就叫它swift簽文,
3:59.080–4:03.180
zh第一步把LAMA.CPP的主程序壓縮包解壓出來,
4:03.440–4:05.220
zh打開解壓後的文件夾,
4:05.220–4:09.840
zh讓Ctrl加A全選,把裡面的所有文件一個部落的全部剪接出來,
4:09.840–4:13.940
zh然後粘貼到剛才新建的swift簽文件夾裡面,
4:14.200–4:16.760
zh第二步把剛才下載的第二個壓縮包,
4:16.760–4:20.340
zh也就是那個動態鏈接庫的壓縮包也解壓出來,
4:20.600–4:23.920
zh同樣全部選擇裡面的所有文件剪接出來,
4:24.180–4:26.480
zh直接粘貼到swift的簽文文件夾裡面,
4:26.740–4:32.120
zh現在核心的主程序和顯卡驅動依賴庫就在同一個目錄裡面徹底活體了,
4:32.360–4:34.920
zh第三步在swift的簽文目錄裡面,
4:35.180–4:36.980
zh又接著新建一個文件夾,
4:36.980–4:41.840
zh名字就叫modus,把你剛才下載的那個大模型文件,
4:42.100–4:44.920
zh移動剪接到這個modus文件夾裡面,
4:45.180–4:47.740
zh為了等一下顯密密不把手指頭靠斷的話,
4:47.980–4:50.800
zh順便把這個模型的名字改短一點,
4:51.060–4:53.880
zh比如就改成swift.lgb.gf,
4:54.140–4:55.420
zh底層文件擺放整齊了,
4:55.660–4:57.720
zh最後來做一個一鍵啟動的開關,
4:57.980–4:59.760
zh就在這個文件夾的根目錄下面,
5:00.020–5:02.320
zh右鍵新建一個文本文檔,
5:02.580–5:05.400
zh把魔人的名字給它改成啟動.bat,
5:05.400–5:08.980
zh這裡要注意,如果你的電腦默認隱藏了文件快載名的話,
5:08.980–5:10.940
zh一定要去文件夾的選項裡面,
5:11.200–5:13.600
zh把這個顯示文件快載名給它勾上,
5:13.840–5:18.460
zh確保後面的那個txt後綴變成.bat,
5:18.720–5:20.640
zh右鍵點擊這個啟動.bat,
5:20.760–5:23.480
zh選擇編輯,把啟動命令的代碼給它貼進去,
5:23.580–5:24.160
zh然後保存,
5:24.340–5:25.120
zh走到這一步,
5:25.120–5:27.420
zh其實整個boss就已經徹底完成了,
5:27.680–5:29.980
zh鼠標雙擊這個啟動.bat,
5:30.240–5:32.620
zh屏幕上面它會彈出一個命令行中端窗口,
5:32.620–5:35.180
zh在這個窗口你可能會看到一些制服,
5:35.180–5:36.460
zh它顯示成了這個亂嘛,
5:36.720–5:37.480
zh這裡不用慌,
5:37.480–5:39.020
zh這個單純就是Windows控制台,
5:39.020–5:41.840
zh它默認字體編碼的小問題完全不影響,
5:42.100–5:43.620
zh以後有空了的時候可以改,
5:43.620–5:44.900
zh現在就直接無視,
5:45.160–5:46.440
zh給它十幾秒的時間,
5:46.700–5:50.540
zh讓它把那個9G的模型自動搬到顯卡顯存裡面去,
5:50.800–5:55.140
zh當窗口的最下面它顯示出了http127.0.0.1,
5:55.400–5:57.460
zh8080這個本地網址的時候,
5:57.700–5:59.760
zh就代表整個模型它已經在後台跑通了,
5:59.760–6:02.320
zh這裡要記住這個黑色的中端窗口不要關,
6:02.320–6:04.120
zh關了的話後台服務它就斷了,
6:04.360–6:05.640
zh把它最小化就可以了,
6:05.900–6:08.980
zh服務跑起來了直接用瀏覽器打開剛才看到的本地地址,
6:09.240–6:14.360
zh一個非常乾淨原生的大模型聊天交付界面就直接在屏幕上展開了,
6:14.600–6:21.260
zh你可以一眼看到在聊天框框的邊上它顯示的正式剛才放進來的27B模型的名字,
6:21.520–6:23.820
zh為了測試它到底有沒有把思考的廢話砍乾淨,
6:24.080–6:25.620
zh速度是不是整理能夠翻倍,
6:25.880–6:26.640
zh而且至少沒有降,
6:26.640–6:29.200
zh我就讓它寫了一個重力球小遊戲,
6:29.460–6:30.480
zh給它一句提示詞,
6:30.740–6:32.780
zh那個原本要轉半天圈圈的思考框,
6:33.040–6:35.600
zh只短暫的跳了幾下就直接結束了,
6:35.860–6:38.160
zh緊接著是代碼輸出的速度非常快,
6:38.420–6:42.260
zh並且沒有優化過的原本生產的速度快了一倍都不止,
6:42.520–6:44.040
zh打開遊戲可以直接耍,
6:44.300–6:45.580
zh介面設計的相當完整,
6:45.840–6:48.140
zh點擊畫面下方的加號按鈕這個屏幕裡面,
6:48.400–6:50.960
zh它會不斷地添加不同顏色的小球,
6:50.960–6:53.000
zh把鼠標按在小球上面拖,
6:53.260–6:56.600
zh可以直接把這個球像砲彈一樣給它泡射出去,
6:56.840–6:57.620
zh速度極快,
6:57.880–6:59.660
zh在空白處點擊這個鼠標左邊的時候,
6:59.920–7:03.240
zh它會炸出來一大圈的彩色粒子爆炸效果,
7:03.500–7:04.520
zh就像放煙花一樣,
7:04.780–7:07.340
zh所有的小球它撞到屏幕的邊緣的時候,
7:07.600–7:09.640
zh碰撞反彈的也非常的自然,
7:09.900–7:12.960
zh一句話就可以生成這麼一個獨立小遊戲,
7:13.220–7:14.760
zh不僅能玩視覺效果,
7:15.020–7:17.320
zh這個動效也相當的OK,
7:17.580–7:20.140
zh我又讓它寫了一個3D旋轉地球,
7:20.400–7:21.920
zh思考的過程極其的乾脆,
7:22.180–7:23.460
zh兩三下就把邏輯理順了,
7:23.720–7:25.000
zh然後把代碼寫出來了,
7:25.260–7:28.080
zh跟原版那種憋半天也不知道在做什麼的體驗,
7:28.320–7:29.600
zh完全就是兩個物種,
7:29.860–7:30.880
zh瀏覽器裡面運行,
7:31.140–7:36.520
zh屏幕正中央是一個可以在三位空間裡面360度任意旋轉的3D地球,
7:36.780–7:39.340
zh支持鼠標滾爐隨意放大縮小,
7:39.860–7:42.660
zh這個球體邊緣還有一層發光的大氣層,
7:42.920–7:45.740
zh表面不僅把海洋草地、沙漠、
7:46.000–7:48.300
zh還有這個白色的雪山全部都畫出來了,
7:48.560–7:50.100
zh連南極北極,
7:50.340–7:54.440
zh它兩極的冰蓋和各大洲的大陸板塊都一千一出,
7:54.700–7:58.540
zh雖然陸地這個形狀它可能不一定完全對應現實地圖,
7:58.800–8:00.840
zh但是在這個漆黑的星空背景下,
8:01.100–8:05.700
zh轉動這顆星球就跟坐在宇宙飛船窗邊編看行星,
8:05.960–8:07.500
zh這個效果是一模一樣的,
8:07.500–8:09.300
zh最後也是我個人最喜歡的,
8:09.540–8:12.100
zh讓它寫來一個小鳥穿廣道的遊戲,
8:12.360–8:14.660
zh這個藍天白雲綠色的草地,
8:14.920–8:17.740
zh畢竟全部都鋪滿了,正中央是一隻小鳥,
8:18.000–8:19.780
zh你只要點下鼠標這個小鳥,
8:20.040–8:21.060
zh它就要克服重力,
8:21.320–8:22.600
zh往上跳一下,
8:22.600–8:26.180
zh你必須讓它從管道的空斜中這個鑽過去,
8:26.440–8:30.020
zh只要插到水管的邊緣或者摔到地上,遊戲就會當場結束,
8:30.280–8:32.580
zh然後跳出得飛,重新開始的暗游,
8:32.840–8:35.140
zh摸完了好多把,也沒有挺過幾根水管,
8:35.400–8:38.220
zh但是回過頭來看,沒有任何多餘的調適,
8:38.220–8:40.260
zh就是就憑一段普普通通的提示詞,
8:40.520–8:42.320
zh這個模型在短短幾十秒內,
8:42.580–8:45.380
zh不僅把中力計算,障礙物循環,
8:45.640–8:47.440
zh死亡判定,還有這個計費系統,
8:47.700–8:49.480
zh全部寫得嚴絲活鳳,
8:49.740–8:51.780
zh這種快速交付口用代碼的能力,
8:52.040–8:54.600
zh徹底證明了它砍掉的58%,
8:54.860–8:56.660
zh都是沒得用的廢話,
8:56.900–8:59.980
zh核心智商沒有受到半點的影響,
8:59.980–9:02.120
zh猜到這裡答案其實已經很明顯了,
9:02.260–9:05.360
zh這就是開源社區最新針對過度思考做出的
9:05.360–9:07.320
zhSwift的千萬3.82起源,
9:07.660–9:10.900
zh他把原本在後代空撞亂說話全部幹掉了,
9:11.280–9:13.640
zh直接提出兩倍,顯存占用更低,
9:13.720–9:15.800
zh而且不用再毫無意義的幹等了,
9:16.180–9:18.800
zh今天用到的所有東西我都已經準備好了,
9:19.080–9:20.620
zh你直接去下方拿就可以了,
9:20.920–9:22.640
zh別忘了點贊訂閱支持一下,
9:22.800–9:23.560
zh我們下期再見。
0:00.000–0:05.880
如果你最近在自己電腦上跑過原版的謙問3.827B,大概率要被他氣死。
0:05.880–0:11.000
因為現在只要在本地部署這個模型的人,幾乎都在抱怨同一件事。
0:11.000–0:14.600
那個所謂的深度思考模式用起來簡直像壽形。
0:14.600–0:19.200
你問他一個微不足道的小問題,他可以在後台想個整整15分鐘。
0:19.200–0:21.907
你眼睜睜看著他在屏幕後頭自言自語,
0:21.907–0:23.340
死訊話按著說廢話,
0:23.340–0:26.207
把草稿寫滿了就插掉最後吐出來的答案,
0:26.207–0:27.640
往往只有兩三個字。
0:27.640–0:30.758
這種毛病在技術上叫做病態過度思考,
0:30.758–0:33.142
模型並沒有真正的解決問題,
0:33.142–0:34.976
他只是在反覆的推演,
0:34.976–0:36.260
不停的繞圈子,
0:36.260–0:37.360
越想越複雜。
0:37.360–0:41.583
今天這個視頻要講的就是一個專門知這種毛病的開源版本,
0:41.583–0:42.558
Swift,
0:42.558–0:44.020
簽問3.827B。
0:44.020–0:50.160
開源設計他通過算法把沒得用的那些思考,就是那種自刀自演的廢話給戒掉了。
0:50.160–0:56.560
在答題準確率完全沒有下降的前提下,他把思考過程中的消耗直接砍掉了
0:56.560–1:01.160
58.3%。本地速度直接提升了將近兩倍。
1:01.160–1:03.028
今天我們就從文件怎麼下,
1:03.028–1:04.896
一路到怎麼在本地跑起來,
1:04.896–1:06.298
最後上幾個大項目,
1:06.298–1:09.100
看一下治好了這種精神內耗的LTB模型
1:09.100–1:11.400
在你的機箱裡面它到底有多猛。
1:11.400–1:15.500
先打開HoganFace模型的主頁,找到這個項目的頁面。
1:15.500–1:19.340
在頁面正上找到這個叫做文件和版本的標章點進去。
1:19.340–1:25.740
一進來的裡面密密麻麻列了十幾個以GGUF結尾的文件,不要亂點。
1:25.740–1:30.860
你要看準你的顯卡實際顯存到底有多大,選擇屬於你的那一個。
1:30.860–1:37.000
看這個模型的尾部,它這個名字的尾部,顯卡只有8G顯存的,你就找
1:37.000–1:43.400
IQ2XXS.GGUF的文件體積大約在9.09GB。
1:43.400–1:46.097
顯卡在12G顯存的,
1:46.097–1:48.795
你就找IQ3XXS.
1:48.795–1:50.143
GGUF,
1:50.143–1:53.380
文件大概是12.5GB。
1:53.380–2:02.600
顯卡是16G顯存的,就找Q3KM.GGUF,文件大概是13.6GB。
2:02.600–2:06.159
如果你機箱裡面查的164G的顯存大卡,
2:06.159–2:07.470
就找Q4KM.
2:07.470–2:08.407
GGUF,
2:08.407–2:10.280
文件大概是18個G。
2:10.280–2:15.920
在看準的這個文件名最右側有一個小小的下載箭頭,點它就可以下載。
2:15.920–2:17.493
這裡要提醒你一句,
2:17.493–2:19.764
將近10個G的單體大文件,
2:19.764–2:22.560
如果直接用瀏覽器自帶的下載器下,
2:22.560–2:28.200
極其容易中途斷流或者卡死,到時候重新來過的話要把人氣出內傷。
2:28.200–2:34.131
最聰明的辦法就是在這個下載箭頭上面點擊這個鼠標右鍵,
2:34.131–2:36.640
然後選擇複製鏈接地址,
2:36.640–2:41.760
然後把你長用的多線成功下載工具打開,把這個鏈接貼進去,然後拉下來,
2:41.760–2:44.080
下載的速度會瞬間把你的框帶泡滿。
2:44.080–2:47.826
為了讓絕大多數普通配置的機器都可以看懂,
2:47.826–2:51.760
我就以這個4和8G顯存的IQ2XXS為例,
2:51.760–2:53.280
直接把它下到電腦裡面。
2:53.280–2:56.860
模型文件下完了之後,接下來準備運行它的底層引擎。
2:56.860–2:57.843
打開LAMA.
2:57.843–2:59.810
CPP的GET HAWP頁面,
2:59.810–3:01.074
進入到它的發布頁,
3:01.074–3:02.760
這個頁面它的版本有點多。
3:02.760–3:06.153
如果你是Windows系統加上因為打顯卡,
3:06.153–3:08.900
就直接盯到Windows的第4排,
3:08.900–3:12.220
Windows X64 CUDA12,
3:12.220–3:16.320
還有這個CUDA12.4 DLOS。
3:16.320–3:20.160
仔細看,這一行它其實是用橫線
3:20.420–3:25.020
格開的兩個獨立下載鏈接,很多人在這裡它要搞錯。
3:25.280–3:29.880
鼠標點擊前面的Windows X64 CUDA12下載下來的是
3:30.140–3:36.280
主程序壓縮包,緊接著點擊後面的CUDA12.4 DLOS
3:36.540–3:39.880
下載下來的是顯卡依賴庫的壓縮包,
3:39.880–3:42.440
裡面全部都是顯卡驅動必須要用的的
3:42.440–3:48.080
動態鏈接庫文件,把這兩個壓縮包和剛才下好的模型一共三個東西準備好,
3:48.080–3:49.600
現在就可以開始組裝了。
3:49.600–3:54.480
為了以後文件不亂,這裡的鑪盤的根目錄就新建一個文件夾,
3:54.720–3:56.780
名字你就隨便起英文了就可以了,
3:56.780–3:59.080
我就叫它swift簽文,
3:59.080–4:03.180
第一步把LAMA.CPP的主程序壓縮包解壓出來,
4:03.440–4:05.220
打開解壓後的文件夾,
4:05.220–4:09.840
讓Ctrl加A全選,把裡面的所有文件一個部落的全部剪接出來,
4:09.840–4:13.940
然後粘貼到剛才新建的swift簽文件夾裡面,
4:14.200–4:16.760
第二步把剛才下載的第二個壓縮包,
4:16.760–4:20.340
也就是那個動態鏈接庫的壓縮包也解壓出來,
4:20.600–4:23.920
同樣全部選擇裡面的所有文件剪接出來,
4:24.180–4:26.480
直接粘貼到swift的簽文文件夾裡面,
4:26.740–4:32.120
現在核心的主程序和顯卡驅動依賴庫就在同一個目錄裡面徹底活體了,
4:32.360–4:34.920
第三步在swift的簽文目錄裡面,
4:35.180–4:36.980
又接著新建一個文件夾,
4:36.980–4:41.840
名字就叫modus,把你剛才下載的那個大模型文件,
4:42.100–4:44.920
移動剪接到這個modus文件夾裡面,
4:45.180–4:47.740
為了等一下顯密密不把手指頭靠斷的話,
4:47.980–4:50.800
順便把這個模型的名字改短一點,
4:51.060–4:53.880
比如就改成swift.lgb.gf,
4:54.140–4:55.420
底層文件擺放整齊了,
4:55.660–4:57.720
最後來做一個一鍵啟動的開關,
4:57.980–4:59.760
就在這個文件夾的根目錄下面,
5:00.020–5:02.320
右鍵新建一個文本文檔,
5:02.580–5:05.400
把魔人的名字給它改成啟動.bat,
5:05.400–5:08.980
這裡要注意,如果你的電腦默認隱藏了文件快載名的話,
5:08.980–5:10.940
一定要去文件夾的選項裡面,
5:11.200–5:13.600
把這個顯示文件快載名給它勾上,
5:13.840–5:18.460
確保後面的那個txt後綴變成.bat,
5:18.720–5:20.640
右鍵點擊這個啟動.bat,
5:20.760–5:23.480
選擇編輯,把啟動命令的代碼給它貼進去,
5:23.580–5:24.160
然後保存,
5:24.340–5:25.120
走到這一步,
5:25.120–5:27.420
其實整個boss就已經徹底完成了,
5:27.680–5:29.980
鼠標雙擊這個啟動.bat,
5:30.240–5:32.620
屏幕上面它會彈出一個命令行中端窗口,
5:32.620–5:35.180
在這個窗口你可能會看到一些制服,
5:35.180–5:36.460
它顯示成了這個亂嘛,
5:36.720–5:37.480
這裡不用慌,
5:37.480–5:39.020
這個單純就是Windows控制台,
5:39.020–5:41.840
它默認字體編碼的小問題完全不影響,
5:42.100–5:43.620
以後有空了的時候可以改,
5:43.620–5:44.900
現在就直接無視,
5:45.160–5:46.440
給它十幾秒的時間,
5:46.700–5:50.540
讓它把那個9G的模型自動搬到顯卡顯存裡面去,
5:50.800–5:55.140
當窗口的最下面它顯示出了http127.0.0.1,
5:55.400–5:57.460
8080這個本地網址的時候,
5:57.700–5:59.760
就代表整個模型它已經在後台跑通了,
5:59.760–6:02.320
這裡要記住這個黑色的中端窗口不要關,
6:02.320–6:04.120
關了的話後台服務它就斷了,
6:04.360–6:05.640
把它最小化就可以了,
6:05.900–6:08.980
服務跑起來了直接用瀏覽器打開剛才看到的本地地址,
6:09.240–6:14.360
一個非常乾淨原生的大模型聊天交付界面就直接在屏幕上展開了,
6:14.600–6:21.260
你可以一眼看到在聊天框框的邊上它顯示的正式剛才放進來的27B模型的名字,
6:21.520–6:23.820
為了測試它到底有沒有把思考的廢話砍乾淨,
6:24.080–6:25.620
速度是不是整理能夠翻倍,
6:25.880–6:26.640
而且至少沒有降,
6:26.640–6:29.200
我就讓它寫了一個重力球小遊戲,
6:29.460–6:30.480
給它一句提示詞,
6:30.740–6:32.780
那個原本要轉半天圈圈的思考框,
6:33.040–6:35.600
只短暫的跳了幾下就直接結束了,
6:35.860–6:38.160
緊接著是代碼輸出的速度非常快,
6:38.420–6:42.260
並且沒有優化過的原本生產的速度快了一倍都不止,
6:42.520–6:44.040
打開遊戲可以直接耍,
6:44.300–6:45.580
介面設計的相當完整,
6:45.840–6:48.140
點擊畫面下方的加號按鈕這個屏幕裡面,
6:48.400–6:50.960
它會不斷地添加不同顏色的小球,
6:50.960–6:53.000
把鼠標按在小球上面拖,
6:53.260–6:56.600
可以直接把這個球像砲彈一樣給它泡射出去,
6:56.840–6:57.620
速度極快,
6:57.880–6:59.660
在空白處點擊這個鼠標左邊的時候,
6:59.920–7:03.240
它會炸出來一大圈的彩色粒子爆炸效果,
7:03.500–7:04.520
就像放煙花一樣,
7:04.780–7:07.340
所有的小球它撞到屏幕的邊緣的時候,
7:07.600–7:09.640
碰撞反彈的也非常的自然,
7:09.900–7:12.960
一句話就可以生成這麼一個獨立小遊戲,
7:13.220–7:14.760
不僅能玩視覺效果,
7:15.020–7:17.320
這個動效也相當的OK,
7:17.580–7:20.140
我又讓它寫了一個3D旋轉地球,
7:20.400–7:21.920
思考的過程極其的乾脆,
7:22.180–7:23.460
兩三下就把邏輯理順了,
7:23.720–7:25.000
然後把代碼寫出來了,
7:25.260–7:28.080
跟原版那種憋半天也不知道在做什麼的體驗,
7:28.320–7:29.600
完全就是兩個物種,
7:29.860–7:30.880
瀏覽器裡面運行,
7:31.140–7:36.520
屏幕正中央是一個可以在三位空間裡面360度任意旋轉的3D地球,
7:36.780–7:39.340
支持鼠標滾爐隨意放大縮小,
7:39.860–7:42.660
這個球體邊緣還有一層發光的大氣層,
7:42.920–7:45.740
表面不僅把海洋草地、沙漠、
7:46.000–7:48.300
還有這個白色的雪山全部都畫出來了,
7:48.560–7:50.100
連南極北極,
7:50.340–7:54.440
它兩極的冰蓋和各大洲的大陸板塊都一千一出,
7:54.700–7:58.540
雖然陸地這個形狀它可能不一定完全對應現實地圖,
7:58.800–8:00.840
但是在這個漆黑的星空背景下,
8:01.100–8:05.700
轉動這顆星球就跟坐在宇宙飛船窗邊編看行星,
8:05.960–8:07.500
這個效果是一模一樣的,
8:07.500–8:09.300
最後也是我個人最喜歡的,
8:09.540–8:12.100
讓它寫來一個小鳥穿廣道的遊戲,
8:12.360–8:14.660
這個藍天白雲綠色的草地,
8:14.920–8:17.740
畢竟全部都鋪滿了,正中央是一隻小鳥,
8:18.000–8:19.780
你只要點下鼠標這個小鳥,
8:20.040–8:21.060
它就要克服重力,
8:21.320–8:22.600
往上跳一下,
8:22.600–8:26.180
你必須讓它從管道的空斜中這個鑽過去,
8:26.440–8:30.020
只要插到水管的邊緣或者摔到地上,遊戲就會當場結束,
8:30.280–8:32.580
然後跳出得飛,重新開始的暗游,
8:32.840–8:35.140
摸完了好多把,也沒有挺過幾根水管,
8:35.400–8:38.220
但是回過頭來看,沒有任何多餘的調適,
8:38.220–8:40.260
就是就憑一段普普通通的提示詞,
8:40.520–8:42.320
這個模型在短短幾十秒內,
8:42.580–8:45.380
不僅把中力計算,障礙物循環,
8:45.640–8:47.440
死亡判定,還有這個計費系統,
8:47.700–8:49.480
全部寫得嚴絲活鳳,
8:49.740–8:51.780
這種快速交付口用代碼的能力,
8:52.040–8:54.600
徹底證明了它砍掉的58%,
8:54.860–8:56.660
都是沒得用的廢話,
8:56.900–8:59.980
核心智商沒有受到半點的影響,
8:59.980–9:02.120
猜到這裡答案其實已經很明顯了,
9:02.260–9:05.360
這就是開源社區最新針對過度思考做出的
9:05.360–9:07.320
Swift的千萬3.82起源,
9:07.660–9:10.900
他把原本在後代空撞亂說話全部幹掉了,
9:11.280–9:13.640
直接提出兩倍,顯存占用更低,
9:13.720–9:15.800
而且不用再毫無意義的幹等了,
9:16.180–9:18.800
今天用到的所有東西我都已經準備好了,
9:19.080–9:20.620
你直接去下方拿就可以了,
9:20.920–9:22.640
別忘了點贊訂閱支持一下,
9:22.800–9:23.560
我們下期再見。
0:00.000–0:05.880
zh如果你最近在自己電腦上跑過原版的謙問3.827B,大概率要被他氣死。
如果你最近在自己電腦上跑過原版的謙問3.827B,大概率要被他氣死。
0:05.880–0:11.000
zh因為現在只要在本地部署這個模型的人,幾乎都在抱怨同一件事。
因為現在只要在本地部署這個模型的人,幾乎都在抱怨同一件事。
0:11.000–0:14.600
zh那個所謂的深度思考模式用起來簡直像壽形。
那個所謂的深度思考模式用起來簡直像壽形。
0:14.600–0:19.200
zh你問他一個微不足道的小問題,他可以在後台想個整整15分鐘。
你問他一個微不足道的小問題,他可以在後台想個整整15分鐘。
0:19.200–0:21.907
zh你眼睜睜看著他在屏幕後頭自言自語,
你眼睜睜看著他在屏幕後頭自言自語,
0:21.907–0:23.340
zh死訊話按著說廢話,
死訊話按著說廢話,
0:23.340–0:26.207
zh把草稿寫滿了就插掉最後吐出來的答案,
把草稿寫滿了就插掉最後吐出來的答案,
0:26.207–0:27.640
zh往往只有兩三個字。
往往只有兩三個字。
0:27.640–0:30.758
zh這種毛病在技術上叫做病態過度思考,
這種毛病在技術上叫做病態過度思考,
0:30.758–0:33.142
zh模型並沒有真正的解決問題,
模型並沒有真正的解決問題,
0:33.142–0:34.976
zh他只是在反覆的推演,
他只是在反覆的推演,
0:34.976–0:36.260
zh不停的繞圈子,
不停的繞圈子,
0:36.260–0:37.360
zh越想越複雜。
越想越複雜。
0:37.360–0:41.583
zh今天這個視頻要講的就是一個專門知這種毛病的開源版本,
今天這個視頻要講的就是一個專門知這種毛病的開源版本,
0:41.583–0:42.558
enSwift,
Swift,
0:42.558–0:44.020
zh簽問3.827B。
簽問3.827B。
0:44.020–0:50.160
zh開源設計他通過算法把沒得用的那些思考,就是那種自刀自演的廢話給戒掉了。
開源設計他通過算法把沒得用的那些思考,就是那種自刀自演的廢話給戒掉了。
0:50.160–0:56.560
zh在答題準確率完全沒有下降的前提下,他把思考過程中的消耗直接砍掉了
在答題準確率完全沒有下降的前提下,他把思考過程中的消耗直接砍掉了
0:56.560–1:01.160
zh58.3%。本地速度直接提升了將近兩倍。
58.3%。本地速度直接提升了將近兩倍。
1:01.160–1:03.028
zh今天我們就從文件怎麼下,
今天我們就從文件怎麼下,
1:03.028–1:04.896
zh一路到怎麼在本地跑起來,
一路到怎麼在本地跑起來,
1:04.896–1:06.298
zh最後上幾個大項目,
最後上幾個大項目,
1:06.298–1:09.100
zh看一下治好了這種精神內耗的LTB模型
看一下治好了這種精神內耗的LTB模型
1:09.100–1:11.400
zh在你的機箱裡面它到底有多猛。
在你的機箱裡面它到底有多猛。
1:11.400–1:15.500
zh先打開HoganFace模型的主頁,找到這個項目的頁面。
先打開HoganFace模型的主頁,找到這個項目的頁面。
1:15.500–1:19.340
zh在頁面正上找到這個叫做文件和版本的標章點進去。
在頁面正上找到這個叫做文件和版本的標章點進去。
1:19.340–1:25.740
zh一進來的裡面密密麻麻列了十幾個以GGUF結尾的文件,不要亂點。
一進來的裡面密密麻麻列了十幾個以GGUF結尾的文件,不要亂點。
1:25.740–1:30.860
zh你要看準你的顯卡實際顯存到底有多大,選擇屬於你的那一個。
你要看準你的顯卡實際顯存到底有多大,選擇屬於你的那一個。
1:30.860–1:37.000
zh看這個模型的尾部,它這個名字的尾部,顯卡只有8G顯存的,你就找
看這個模型的尾部,它這個名字的尾部,顯卡只有8G顯存的,你就找
1:37.000–1:43.400
zhIQ2XXS.GGUF的文件體積大約在9.09GB。
IQ2XXS.GGUF的文件體積大約在9.09GB。
1:43.400–1:46.097
zh顯卡在12G顯存的,
顯卡在12G顯存的,
1:46.097–1:48.795
zh你就找IQ3XXS.
你就找IQ3XXS.
1:48.795–1:50.143
enGGUF,
GGUF,
1:50.143–1:53.380
zh文件大概是12.5GB。
文件大概是12.5GB。
1:53.380–2:02.600
zh顯卡是16G顯存的,就找Q3KM.GGUF,文件大概是13.6GB。
顯卡是16G顯存的,就找Q3KM.GGUF,文件大概是13.6GB。
2:02.600–2:06.159
zh如果你機箱裡面查的164G的顯存大卡,
如果你機箱裡面查的164G的顯存大卡,
2:06.159–2:07.470
zh就找Q4KM.
就找Q4KM.
2:07.470–2:08.407
enGGUF,
GGUF,
2:08.407–2:10.280
zh文件大概是18個G。
文件大概是18個G。
2:10.280–2:15.920
zh在看準的這個文件名最右側有一個小小的下載箭頭,點它就可以下載。
在看準的這個文件名最右側有一個小小的下載箭頭,點它就可以下載。
2:15.920–2:17.493
zh這裡要提醒你一句,
這裡要提醒你一句,
2:17.493–2:19.764
zh將近10個G的單體大文件,
將近10個G的單體大文件,
2:19.764–2:22.560
zh如果直接用瀏覽器自帶的下載器下,
如果直接用瀏覽器自帶的下載器下,
2:22.560–2:28.200
zh極其容易中途斷流或者卡死,到時候重新來過的話要把人氣出內傷。
極其容易中途斷流或者卡死,到時候重新來過的話要把人氣出內傷。
2:28.200–2:34.131
zh最聰明的辦法就是在這個下載箭頭上面點擊這個鼠標右鍵,
最聰明的辦法就是在這個下載箭頭上面點擊這個鼠標右鍵,
2:34.131–2:36.640
zh然後選擇複製鏈接地址,
然後選擇複製鏈接地址,
2:36.640–2:41.760
zh然後把你長用的多線成功下載工具打開,把這個鏈接貼進去,然後拉下來,
然後把你長用的多線成功下載工具打開,把這個鏈接貼進去,然後拉下來,
2:41.760–2:44.080
zh下載的速度會瞬間把你的框帶泡滿。
下載的速度會瞬間把你的框帶泡滿。
2:44.080–2:47.826
zh為了讓絕大多數普通配置的機器都可以看懂,
為了讓絕大多數普通配置的機器都可以看懂,
2:47.826–2:51.760
zh我就以這個4和8G顯存的IQ2XXS為例,
我就以這個4和8G顯存的IQ2XXS為例,
2:51.760–2:53.280
zh直接把它下到電腦裡面。
直接把它下到電腦裡面。
2:53.280–2:56.860
zh模型文件下完了之後,接下來準備運行它的底層引擎。
模型文件下完了之後,接下來準備運行它的底層引擎。
2:56.860–2:57.843
zh打開LAMA.
打開LAMA.
2:57.843–2:59.810
zhCPP的GET HAWP頁面,
CPP的GET HAWP頁面,
2:59.810–3:01.074
zh進入到它的發布頁,
進入到它的發布頁,
3:01.074–3:02.760
zh這個頁面它的版本有點多。
這個頁面它的版本有點多。
3:02.760–3:06.153
zh如果你是Windows系統加上因為打顯卡,
如果你是Windows系統加上因為打顯卡,
3:06.153–3:08.900
zh就直接盯到Windows的第4排,
就直接盯到Windows的第4排,
3:08.900–3:12.220
enWindows X64 CUDA12,
Windows X64 CUDA12,
3:12.220–3:16.320
zh還有這個CUDA12.4 DLOS。
還有這個CUDA12.4 DLOS。
3:16.320–3:20.160
zh仔細看,這一行它其實是用橫線
仔細看,這一行它其實是用橫線
3:20.420–3:25.020
zh格開的兩個獨立下載鏈接,很多人在這裡它要搞錯。
格開的兩個獨立下載鏈接,很多人在這裡它要搞錯。
3:25.280–3:29.880
zh鼠標點擊前面的Windows X64 CUDA12下載下來的是
鼠標點擊前面的Windows X64 CUDA12下載下來的是
3:30.140–3:36.280
zh主程序壓縮包,緊接著點擊後面的CUDA12.4 DLOS
主程序壓縮包,緊接著點擊後面的CUDA12.4 DLOS
3:36.540–3:39.880
zh下載下來的是顯卡依賴庫的壓縮包,
下載下來的是顯卡依賴庫的壓縮包,
3:39.880–3:42.440
zh裡面全部都是顯卡驅動必須要用的的
裡面全部都是顯卡驅動必須要用的的
3:42.440–3:48.080
zh動態鏈接庫文件,把這兩個壓縮包和剛才下好的模型一共三個東西準備好,
動態鏈接庫文件,把這兩個壓縮包和剛才下好的模型一共三個東西準備好,
3:48.080–3:49.600
zh現在就可以開始組裝了。
現在就可以開始組裝了。
3:49.600–3:54.480
zh為了以後文件不亂,這裡的鑪盤的根目錄就新建一個文件夾,
為了以後文件不亂,這裡的鑪盤的根目錄就新建一個文件夾,
3:54.720–3:56.780
zh名字你就隨便起英文了就可以了,
名字你就隨便起英文了就可以了,
3:56.780–3:59.080
zh我就叫它swift簽文,
我就叫它swift簽文,
3:59.080–4:03.180
zh第一步把LAMA.CPP的主程序壓縮包解壓出來,
第一步把LAMA.CPP的主程序壓縮包解壓出來,
4:03.440–4:05.220
zh打開解壓後的文件夾,
打開解壓後的文件夾,
4:05.220–4:09.840
zh讓Ctrl加A全選,把裡面的所有文件一個部落的全部剪接出來,
讓Ctrl加A全選,把裡面的所有文件一個部落的全部剪接出來,
4:09.840–4:13.940
zh然後粘貼到剛才新建的swift簽文件夾裡面,
然後粘貼到剛才新建的swift簽文件夾裡面,
4:14.200–4:16.760
zh第二步把剛才下載的第二個壓縮包,
第二步把剛才下載的第二個壓縮包,
4:16.760–4:20.340
zh也就是那個動態鏈接庫的壓縮包也解壓出來,
也就是那個動態鏈接庫的壓縮包也解壓出來,
4:20.600–4:23.920
zh同樣全部選擇裡面的所有文件剪接出來,
同樣全部選擇裡面的所有文件剪接出來,
4:24.180–4:26.480
zh直接粘貼到swift的簽文文件夾裡面,
直接粘貼到swift的簽文文件夾裡面,
4:26.740–4:32.120
zh現在核心的主程序和顯卡驅動依賴庫就在同一個目錄裡面徹底活體了,
現在核心的主程序和顯卡驅動依賴庫就在同一個目錄裡面徹底活體了,
4:32.360–4:34.920
zh第三步在swift的簽文目錄裡面,
第三步在swift的簽文目錄裡面,
4:35.180–4:36.980
zh又接著新建一個文件夾,
又接著新建一個文件夾,
4:36.980–4:41.840
zh名字就叫modus,把你剛才下載的那個大模型文件,
名字就叫modus,把你剛才下載的那個大模型文件,
4:42.100–4:44.920
zh移動剪接到這個modus文件夾裡面,
移動剪接到這個modus文件夾裡面,
4:45.180–4:47.740
zh為了等一下顯密密不把手指頭靠斷的話,
為了等一下顯密密不把手指頭靠斷的話,
4:47.980–4:50.800
zh順便把這個模型的名字改短一點,
順便把這個模型的名字改短一點,
4:51.060–4:53.880
zh比如就改成swift.lgb.gf,
比如就改成swift.lgb.gf,
4:54.140–4:55.420
zh底層文件擺放整齊了,
底層文件擺放整齊了,
4:55.660–4:57.720
zh最後來做一個一鍵啟動的開關,
最後來做一個一鍵啟動的開關,
4:57.980–4:59.760
zh就在這個文件夾的根目錄下面,
就在這個文件夾的根目錄下面,
5:00.020–5:02.320
zh右鍵新建一個文本文檔,
右鍵新建一個文本文檔,
5:02.580–5:05.400
zh把魔人的名字給它改成啟動.bat,
把魔人的名字給它改成啟動.bat,
5:05.400–5:08.980
zh這裡要注意,如果你的電腦默認隱藏了文件快載名的話,
這裡要注意,如果你的電腦默認隱藏了文件快載名的話,
5:08.980–5:10.940
zh一定要去文件夾的選項裡面,
一定要去文件夾的選項裡面,
5:11.200–5:13.600
zh把這個顯示文件快載名給它勾上,
把這個顯示文件快載名給它勾上,
5:13.840–5:18.460
zh確保後面的那個txt後綴變成.bat,
確保後面的那個txt後綴變成.bat,
5:18.720–5:20.640
zh右鍵點擊這個啟動.bat,
右鍵點擊這個啟動.bat,
5:20.760–5:23.480
zh選擇編輯,把啟動命令的代碼給它貼進去,
選擇編輯,把啟動命令的代碼給它貼進去,
5:23.580–5:24.160
zh然後保存,
然後保存,
5:24.340–5:25.120
zh走到這一步,
走到這一步,
5:25.120–5:27.420
zh其實整個boss就已經徹底完成了,
其實整個boss就已經徹底完成了,
5:27.680–5:29.980
zh鼠標雙擊這個啟動.bat,
鼠標雙擊這個啟動.bat,
5:30.240–5:32.620
zh屏幕上面它會彈出一個命令行中端窗口,
屏幕上面它會彈出一個命令行中端窗口,
5:32.620–5:35.180
zh在這個窗口你可能會看到一些制服,
在這個窗口你可能會看到一些制服,
5:35.180–5:36.460
zh它顯示成了這個亂嘛,
它顯示成了這個亂嘛,
5:36.720–5:37.480
zh這裡不用慌,
這裡不用慌,
5:37.480–5:39.020
zh這個單純就是Windows控制台,
這個單純就是Windows控制台,
5:39.020–5:41.840
zh它默認字體編碼的小問題完全不影響,
它默認字體編碼的小問題完全不影響,
5:42.100–5:43.620
zh以後有空了的時候可以改,
以後有空了的時候可以改,
5:43.620–5:44.900
zh現在就直接無視,
現在就直接無視,
5:45.160–5:46.440
zh給它十幾秒的時間,
給它十幾秒的時間,
5:46.700–5:50.540
zh讓它把那個9G的模型自動搬到顯卡顯存裡面去,
讓它把那個9G的模型自動搬到顯卡顯存裡面去,
5:50.800–5:55.140
zh當窗口的最下面它顯示出了http127.0.0.1,
當窗口的最下面它顯示出了http127.0.0.1,
5:55.400–5:57.460
zh8080這個本地網址的時候,
8080這個本地網址的時候,
5:57.700–5:59.760
zh就代表整個模型它已經在後台跑通了,
就代表整個模型它已經在後台跑通了,
5:59.760–6:02.320
zh這裡要記住這個黑色的中端窗口不要關,
這裡要記住這個黑色的中端窗口不要關,
6:02.320–6:04.120
zh關了的話後台服務它就斷了,
關了的話後台服務它就斷了,
6:04.360–6:05.640
zh把它最小化就可以了,
把它最小化就可以了,
6:05.900–6:08.980
zh服務跑起來了直接用瀏覽器打開剛才看到的本地地址,
服務跑起來了直接用瀏覽器打開剛才看到的本地地址,
6:09.240–6:14.360
zh一個非常乾淨原生的大模型聊天交付界面就直接在屏幕上展開了,
一個非常乾淨原生的大模型聊天交付界面就直接在屏幕上展開了,
6:14.600–6:21.260
zh你可以一眼看到在聊天框框的邊上它顯示的正式剛才放進來的27B模型的名字,
你可以一眼看到在聊天框框的邊上它顯示的正式剛才放進來的27B模型的名字,
6:21.520–6:23.820
zh為了測試它到底有沒有把思考的廢話砍乾淨,
為了測試它到底有沒有把思考的廢話砍乾淨,
6:24.080–6:25.620
zh速度是不是整理能夠翻倍,
速度是不是整理能夠翻倍,
6:25.880–6:26.640
zh而且至少沒有降,
而且至少沒有降,
6:26.640–6:29.200
zh我就讓它寫了一個重力球小遊戲,
我就讓它寫了一個重力球小遊戲,
6:29.460–6:30.480
zh給它一句提示詞,
給它一句提示詞,
6:30.740–6:32.780
zh那個原本要轉半天圈圈的思考框,
那個原本要轉半天圈圈的思考框,
6:33.040–6:35.600
zh只短暫的跳了幾下就直接結束了,
只短暫的跳了幾下就直接結束了,
6:35.860–6:38.160
zh緊接著是代碼輸出的速度非常快,
緊接著是代碼輸出的速度非常快,
6:38.420–6:42.260
zh並且沒有優化過的原本生產的速度快了一倍都不止,
並且沒有優化過的原本生產的速度快了一倍都不止,
6:42.520–6:44.040
zh打開遊戲可以直接耍,
打開遊戲可以直接耍,
6:44.300–6:45.580
zh介面設計的相當完整,
介面設計的相當完整,
6:45.840–6:48.140
zh點擊畫面下方的加號按鈕這個屏幕裡面,
點擊畫面下方的加號按鈕這個屏幕裡面,
6:48.400–6:50.960
zh它會不斷地添加不同顏色的小球,
它會不斷地添加不同顏色的小球,
6:50.960–6:53.000
zh把鼠標按在小球上面拖,
把鼠標按在小球上面拖,
6:53.260–6:56.600
zh可以直接把這個球像砲彈一樣給它泡射出去,
可以直接把這個球像砲彈一樣給它泡射出去,
6:56.840–6:57.620
zh速度極快,
速度極快,
6:57.880–6:59.660
zh在空白處點擊這個鼠標左邊的時候,
在空白處點擊這個鼠標左邊的時候,
6:59.920–7:03.240
zh它會炸出來一大圈的彩色粒子爆炸效果,
它會炸出來一大圈的彩色粒子爆炸效果,
7:03.500–7:04.520
zh就像放煙花一樣,
就像放煙花一樣,
7:04.780–7:07.340
zh所有的小球它撞到屏幕的邊緣的時候,
所有的小球它撞到屏幕的邊緣的時候,
7:07.600–7:09.640
zh碰撞反彈的也非常的自然,
碰撞反彈的也非常的自然,
7:09.900–7:12.960
zh一句話就可以生成這麼一個獨立小遊戲,
一句話就可以生成這麼一個獨立小遊戲,
7:13.220–7:14.760
zh不僅能玩視覺效果,
不僅能玩視覺效果,
7:15.020–7:17.320
zh這個動效也相當的OK,
這個動效也相當的OK,
7:17.580–7:20.140
zh我又讓它寫了一個3D旋轉地球,
我又讓它寫了一個3D旋轉地球,
7:20.400–7:21.920
zh思考的過程極其的乾脆,
思考的過程極其的乾脆,
7:22.180–7:23.460
zh兩三下就把邏輯理順了,
兩三下就把邏輯理順了,
7:23.720–7:25.000
zh然後把代碼寫出來了,
然後把代碼寫出來了,
7:25.260–7:28.080
zh跟原版那種憋半天也不知道在做什麼的體驗,
跟原版那種憋半天也不知道在做什麼的體驗,
7:28.320–7:29.600
zh完全就是兩個物種,
完全就是兩個物種,
7:29.860–7:30.880
zh瀏覽器裡面運行,
瀏覽器裡面運行,
7:31.140–7:36.520
zh屏幕正中央是一個可以在三位空間裡面360度任意旋轉的3D地球,
屏幕正中央是一個可以在三位空間裡面360度任意旋轉的3D地球,
7:36.780–7:39.340
zh支持鼠標滾爐隨意放大縮小,
支持鼠標滾爐隨意放大縮小,
7:39.860–7:42.660
zh這個球體邊緣還有一層發光的大氣層,
這個球體邊緣還有一層發光的大氣層,
7:42.920–7:45.740
zh表面不僅把海洋草地、沙漠、
表面不僅把海洋草地、沙漠、
7:46.000–7:48.300
zh還有這個白色的雪山全部都畫出來了,
還有這個白色的雪山全部都畫出來了,
7:48.560–7:50.100
zh連南極北極,
連南極北極,
7:50.340–7:54.440
zh它兩極的冰蓋和各大洲的大陸板塊都一千一出,
它兩極的冰蓋和各大洲的大陸板塊都一千一出,
7:54.700–7:58.540
zh雖然陸地這個形狀它可能不一定完全對應現實地圖,
雖然陸地這個形狀它可能不一定完全對應現實地圖,
7:58.800–8:00.840
zh但是在這個漆黑的星空背景下,
但是在這個漆黑的星空背景下,
8:01.100–8:05.700
zh轉動這顆星球就跟坐在宇宙飛船窗邊編看行星,
轉動這顆星球就跟坐在宇宙飛船窗邊編看行星,
8:05.960–8:07.500
zh這個效果是一模一樣的,
這個效果是一模一樣的,
8:07.500–8:09.300
zh最後也是我個人最喜歡的,
最後也是我個人最喜歡的,
8:09.540–8:12.100
zh讓它寫來一個小鳥穿廣道的遊戲,
讓它寫來一個小鳥穿廣道的遊戲,
8:12.360–8:14.660
zh這個藍天白雲綠色的草地,
這個藍天白雲綠色的草地,
8:14.920–8:17.740
zh畢竟全部都鋪滿了,正中央是一隻小鳥,
畢竟全部都鋪滿了,正中央是一隻小鳥,
8:18.000–8:19.780
zh你只要點下鼠標這個小鳥,
你只要點下鼠標這個小鳥,
8:20.040–8:21.060
zh它就要克服重力,
它就要克服重力,
8:21.320–8:22.600
zh往上跳一下,
往上跳一下,
8:22.600–8:26.180
zh你必須讓它從管道的空斜中這個鑽過去,
你必須讓它從管道的空斜中這個鑽過去,
8:26.440–8:30.020
zh只要插到水管的邊緣或者摔到地上,遊戲就會當場結束,
只要插到水管的邊緣或者摔到地上,遊戲就會當場結束,
8:30.280–8:32.580
zh然後跳出得飛,重新開始的暗游,
然後跳出得飛,重新開始的暗游,
8:32.840–8:35.140
zh摸完了好多把,也沒有挺過幾根水管,
摸完了好多把,也沒有挺過幾根水管,
8:35.400–8:38.220
zh但是回過頭來看,沒有任何多餘的調適,
但是回過頭來看,沒有任何多餘的調適,
8:38.220–8:40.260
zh就是就憑一段普普通通的提示詞,
就是就憑一段普普通通的提示詞,
8:40.520–8:42.320
zh這個模型在短短幾十秒內,
這個模型在短短幾十秒內,
8:42.580–8:45.380
zh不僅把中力計算,障礙物循環,
不僅把中力計算,障礙物循環,
8:45.640–8:47.440
zh死亡判定,還有這個計費系統,
死亡判定,還有這個計費系統,
8:47.700–8:49.480
zh全部寫得嚴絲活鳳,
全部寫得嚴絲活鳳,
8:49.740–8:51.780
zh這種快速交付口用代碼的能力,
這種快速交付口用代碼的能力,
8:52.040–8:54.600
zh徹底證明了它砍掉的58%,
徹底證明了它砍掉的58%,
8:54.860–8:56.660
zh都是沒得用的廢話,
都是沒得用的廢話,
8:56.900–8:59.980
zh核心智商沒有受到半點的影響,
核心智商沒有受到半點的影響,
8:59.980–9:02.120
zh猜到這裡答案其實已經很明顯了,
猜到這裡答案其實已經很明顯了,
9:02.260–9:05.360
zh這就是開源社區最新針對過度思考做出的
這就是開源社區最新針對過度思考做出的
9:05.360–9:07.320
zhSwift的千萬3.82起源,
Swift的千萬3.82起源,
9:07.660–9:10.900
zh他把原本在後代空撞亂說話全部幹掉了,
他把原本在後代空撞亂說話全部幹掉了,
9:11.280–9:13.640
zh直接提出兩倍,顯存占用更低,
直接提出兩倍,顯存占用更低,
9:13.720–9:15.800
zh而且不用再毫無意義的幹等了,
而且不用再毫無意義的幹等了,
9:16.180–9:18.800
zh今天用到的所有東西我都已經準備好了,
今天用到的所有東西我都已經準備好了,
9:19.080–9:20.620
zh你直接去下方拿就可以了,
你直接去下方拿就可以了,
9:20.920–9:22.640
zh別忘了點贊訂閱支持一下,
別忘了點贊訂閱支持一下,
9:22.800–9:23.560
zh我們下期再見。
我們下期再見。

影片筆記:告别思考等半天!Qwen3.8-27B 极速版:提速 2 倍不降智,8G 显存当场手搓小游戏【小白保姆级】

<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->

⚠️ 可先使用,仍有待修正項目

本筆記已完成可閱讀的逐字稿與時間跳轉;下列為待處理問題,建議播放原片確認。

  • 待修正:逐字稿全文快速校讀未完成(已保留自動字幕/原始逐字稿並繼續生成筆記。;未完成的全文速讀項目可在精進模式回聽確認。)
  • 待修正:逐字稿可先使用,但有待校正清單(segment=155 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語)

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

一句話總結

本影片介紹並實測了一款針對「深度思考模式」進行優化的開源模型 Swift 簽問 3.827B(原為謙問/Qwen 3.827B)。該版本通過算法去除冗餘的「病態過度思考」過程,在本地部署環境下將思考消耗減少 58.3%,運行速度提升近兩倍,且準確率未下降。影片詳細演示了如何使用 Llama.cpp 引擎與 GGUF 格式模型在 Windows 系統進行本地部署,並透過生成「重力球小遊戲」、「3D 旋轉地球」及「小鳥穿管道」三個專案,驗證了其代碼生成的高效性與邏輯完整性。

核心重點

  1. 解決「病態過度思考」問題:
  • 原版模型在本地部署時,面對簡單問題常出現「深度思考模式」失效,表現為後台思考長達 15 分鐘、自言自語說廢話、反覆推演繞圈子,最終僅輸出極少量答案。
  • 優化後的 Swift 簽問 3.827B 通過算法去除了無效思考過程,將思考過程消耗直接砍掉 58.3%。
  1. 效能與準確率兼顧:
  • 本地運行速度提升近兩倍。
  • 在答題準確率完全沒有下降的前提下實現加速。
  • 驗證了模型砍掉 58% 無用廢話後,核心智商未受影響,具備快速交付可用代碼的能力。
  1. 本地部署技術方案:
  • 底層引擎:使用 Llama.cpp(影片口語稱 LAMA.CPP)。
  • 模型格式:使用 GGUF 格式的文件。
  • 硬體要求:支援 Windows 系統,透過 CUDA 驅動進行本地部署。
  • 顯存對應:
  • 8G 顯存:IQ2XXS.GGUF (約 9.09GB)
  • 12G 顯存:IQ3XXS.GGUF (約 12.5GB)
  • 16G 顯存:Q3KM.GGUF (約 13.6GB)
  • 16G+ 顯存:Q4KM.GGUF (約 18GB)
  1. 實測驗證:
  • 透過生成「重力球小遊戲」、「3D 旋轉地球」及「小鳥穿管道」三個專案,驗證了該模型在去除冗餘思考後,代碼生成速度快且邏輯完整。

詳細大綱

一、 問題背景:原版的「病態過度思考」

  • 現象描述:在本地部署原版謙問 3.827B 時,「深度思考模式」表現不佳。
  • 具體症狀:
  • 回答微小問題時,後台需思考長達 15 分鐘。
  • 模型在屏幕後頭自言自語、說廢話、寫草稿。
  • 最終吐出的答案往往僅有兩三個字。
  • 技術定義為「病態過度思考」:模型反覆推演、繞圈子,未真正解決問題。

二、 解決方案:Swift 簽問 3.827B

  • 核心改進:開源版本通過算法戒掉了「自刀自演」的廢話思考。
  • 數據表現:
  • 思考過程消耗直接砍掉 58.3%。
  • 本地速度提升將近兩倍。
  • 答題準確率完全沒有下降。

三、 本地部署實戰步驟

  1. 下載模型文件:
  • 進入 HoganFace 模型主頁的文件與版本標章。
  • 根據顯卡顯存選擇對應的 GGUF 文件(見上文核心重點)。
  • 下載建議:避免使用瀏覽器直接下載(易斷流/卡死),建議右鍵「複製鏈接地址」,使用多線程下載工具下載。
  1. 準備底層引擎:
  • 前往 LAMA.CPP (Llama.cpp) 的 GitHub 發布頁。
  • Windows 系統需下載兩個獨立壓縮包:
  • Windows X64 CUDA12:主程序壓縮包。
  • CUDA12.4 DLOS:顯卡依賴庫(動態鏈接庫文件)。
  1. 文件結構組裝:
  • 在磁盤根目錄新建資料夾(範例命名:swift簽文)。
  • 步驟一:解壓主程序壓縮包,全選所有文件剪貼至 swift簽文 資料夾。
  • 步驟二:解壓動態鏈接庫壓縮包,全選所有文件剪貼至 swift簽文 資料夾。
  • 步驟三:在 swift簽文 內新建 modus 資料夾,將下載的大模型文件(如 IQ2XXS.GGUF)移動至此,並建議簡化檔名(如 swift.lgb.gf)。
  1. 建立啟動腳本:
  • 在 swift簽文 根目錄新建文本文檔。
  • 將檔名改為 啟動.bat(需開啟「顯示文件副檔名」選項)。
  • 右鍵編輯,貼入啟動命令代碼並保存。
  1. 運行與驗證:
  • 雙擊 啟動.bat,等待命令行終端窗口顯示 http://127.0.0.1:8080。
  • 注意:命令行窗口顯示亂碼為 Windows 控制台字體編碼問題,可忽略;切勿關閉該窗口,否則後台服務中斷。
  • 使用瀏覽器打開本地地址,進入聊天交付界面。

四、 效能驗證與專案實測

  • 測試方法:要求模型編寫遊戲代碼,觀察思考框跳躍次數與代碼輸出速度。
  • 實測專案 1:重力球小遊戲
  • 思考過程短暫,代碼輸出速度快。
  • 功能完整:點擊加號添加不同顏色小球,拖曳小球可像砲彈般發射,空白處點擊產生彩色粒子爆炸效果,小球碰撞反彈自然。
  • 實測專案 2:3D 旋轉地球
  • 邏輯理順迅速,代碼生成干脆。
  • 視覺效果:360度任意旋轉,支持鼠標滾輪縮放,具備發光大氣層,繪製海洋、草地、沙漠、雪山及冰蓋,星空背景效果逼真。
  • 實測專案 3:小鳥穿管道遊戲
  • 代碼嚴絲合縫,包含重力計算、障礙物循環、死亡判定及計分系統。
  • 驗證了模型砍掉 58% 無用廢話後,核心智商未受影響,具備快速交付可用代碼的能力。

工具 / 模型 / 名詞整理

  • 模型名稱:
  • 謙問 3.827B (原模型)
  • Swift 簽問 3.827B (優化後開源版本)
  • LTB 模型 (影片口語提及)
  • 平台/網站:
  • HoganFace (模型主頁)
  • GitHub (發布頁)
  • 軟體/引擎:
  • LAMA.CPP (Llama.cpp,底層運行引擎)
  • GGUF (模型文件格式)
  • Windows X64 CUDA12 (主程序版本)
  • CUDA12.4 DLOS (顯卡依賴庫版本)
  • 多線程成功下載工具 (影片口語提及,指代多線程下載器)
  • 技術術語:
  • 深度思考模式
  • 病態過度思考
  • 顯存 (VRAM)
  • 動態鏈接庫 (DLL)
  • 命令行終端 (Command Line Terminal)
  • HTTP 127.0.0.1:8080 (本地服務地址)

操作流程整理

  1. 獲取模型:
  • 訪問 HoganFace 網站。
  • 根據顯存大小選擇對應的 GGUF 文件(8G/12G/16G/16G+)。
  • 使用多線程下載工具下載文件。
  1. 獲取運行環境:
  • 從 LAMA.CPP GitHub 頁面下載 Windows X64 CUDA12 主程序。
  • 從 LAMA.CPP GitHub 頁面下載 CUDA12.4 DLOS 依賴庫。
  1. 配置目錄結構:
  • 建立主資料夾(如 swift簽文)。
  • 將主程序與依賴庫的所有文件解壓並移動至主資料夾。
  • 在主資料夾內建立 modus 資料夾。
  • 將下載的 GGUF 模型文件移動至 modus 資料夾,並可簡化檔名。
  1. 創建啟動腳本:
  • 在主資料夾根目錄創建 .bat 批處理文件(如 啟動.bat)。
  • 編輯該文件,輸入啟動命令代碼並保存。
  1. 啟動服務:
  • 雙擊 啟動.bat。
  • 確認命令行終端顯示 http://127.0.0.1:8080。
  • 保持終端窗口開啟。
  1. 進行測試:
  • 在瀏覽器訪問 http://127.0.0.1:8080。
  • 輸入提示詞要求生成遊戲代碼(如重力球、3D地球、小鳥穿管道)。
  • 觀察思考過程與代碼輸出速度。

值得注意的限制或風險

  • 顯存限制:不同顯存大小需嚴格對應特定的 GGUF 量化版本,選擇錯誤可能導致無法運行或效能不佳。
  • 命令行亂碼:Windows 控制台可能顯示亂碼,這屬於字體編碼問題,需忽略但不可關閉終端窗口,否則服務中斷。
  • 下載風險:瀏覽器直接下載易斷流或卡死,建議使用專業下載工具。
  • 模型名稱辨識:影片中提到的模型名稱「謙問」、「Swift 簽問」、「LTB 模型」與常見名稱「Qwen」存在差異,需確認具體指涉對象。
  • 技術術語辨識:「HoganFace」、「LAMA.CPP」、「DLOS」等名稱與常見標準名稱(Hugging Face, Llama.cpp, DLL)存在差異,可能影響搜尋或下載準確性。

逐字稿辨識疑點

  • segment 155: unnatural_sentence_boundary — 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語
  • 謙問:逐字稿中多次出現「謙問」,通常該參數量級為 Qwen,此處可能為聽寫錯誤或特定暱稱,保留原樣。
  • Swift:模型名稱部分聽似「Swift」,部分聽似「簽問」,逐字稿混用,保留原樣。
  • 壽形:形容深度思考模式像「壽形」,語意不明,疑為口誤或聽寫錯誤。
  • 死訊話:形容模型「死訊話按著說廢話」,疑為「說廢話」或「說些廢話」的聽寫錯誤。
  • 自刀自演:形容模型「自刀自演的廢話」,疑為「自說自話」或類似成語的聽寫錯誤。
  • HoganFace:模型主頁名稱,疑為 Hugging Face 的聽寫錯誤,但依規則保留原樣。
  • LAMA.CPP:底層引擎名稱,通常為 Llama.cpp,逐字稿寫作 LAMA.CPP,保留原樣。
  • DLOS:CUDA12.4 DLOS,疑為 DLL 或特定庫名稱的聽寫錯誤,保留原樣。
  • boss:「整個 boss 就已經徹底完成了」,疑為「部署」或「步驟」的聽寫錯誤。
  • 制服:「看到一些制服」,疑為「文字」或「字符」的聽寫錯誤。
  • 亂嘛:「顯示成了這個亂嘛」,疑為「亂碼」的聽寫錯誤。
  • 顯密密不把手指頭靠斷:語意不通,疑為「顯卡不把手指頭靠斷」或類似形容顯卡負荷或操作的口誤/聽寫錯誤。
  • 重力球:遊戲名稱,可能為「重力球」或「物理球」的聽寫。
  • 泡射:「像砲彈一樣給它泡射出去」,疑為「發射」的聽寫錯誤。
  • 左邊:「點擊這個鼠標左邊」,疑為「左鍵」的聽寫錯誤。
  • 滾爐:「鼠標滾爐」,疑為「滾輪」的聽寫錯誤。
  • 一千一出:「大陸板塊都一千一出」,疑為「一清二楚」或「一一呈現」的聽寫錯誤。
  • 編看:「坐在宇宙飛船窗邊編看行星」,疑為「觀看」的聽寫錯誤。
  • 小鳥穿廣道:遊戲名稱,疑為「小鳥穿管道」的聽寫錯誤。
  • 空斜:「從管道的空斜中這個鑽過去」,疑為「空隙」的聽寫錯誤。
  • 得飛:「跳出得飛」,疑為「Game Over」或「得分」的聽寫錯誤。
  • 暗游:「重新開始的暗游」,疑為「遊戲」的聽寫錯誤。
  • 挺過:「也沒有挺過幾根水管」,疑為「通過」的聽寫錯誤。
  • 調適:「沒有任何多餘的調適」,疑為「調試」或「廢話」的聽寫錯誤。
  • 口用代碼:「快速交付口用代碼的能力」,疑為「可用代碼」的聽寫錯誤。
  • 後代空撞亂說話:「在後代空撞亂說話」,疑為「後台空閒亂說話」或「後台空轉亂說話」的聽寫錯誤。
  • 直接提出兩倍:「直接提出兩倍」,疑為「直接提升兩倍」的聽寫錯誤。
  • 千萬3.82起源:「Swift的千萬3.82起源」,疑為「簽問3.827B」的聽寫錯誤。

可延伸追問

  1. 模型名稱確認:「Swift 簽問 3.827B」與「謙問 3.827B」確切對應關係為何?是否為 Qwen 系列的特定分支或量化版本?
  2. 技術細節:「病態過度思考」的具體算法去除機制是什麼?是否影響了模型處理極複雜邏輯的能力?
  3. 硬體兼容性:除 Windows 外,該部署方式是否支援 macOS 或 Linux?
  4. 性能對比:與原版 Qwen 3.827B 相比,在特定基準測試(如 MMLU, GSM8K)上的準確率具體數值變化為何?
  5. 下載來源:「HoganFace」網站的確切網址為何?該網站是否為官方授權發布渠道?

尚未產生學習筆記

請在 Telegram 指令最後加上「學習」,例如:videonote 網址 英文 雙語 學習