WEBVTT

00:00.000 --> 00:04.120
小快場 優優優化版來了,這是我們優化版的第二版。

00:04.120 --> 00:07.280
我們這幫抽稿技術的,心裏邊老缺一根弦。

00:07.280 --> 00:11.400
總覺得自己把圓碼都發布了,這下穩了,總不會有人部署不上了吧。

00:11.400 --> 00:16.120
但是,我們也沒想到,上一個視頻推廣的面那麼的廣,和之前的視頻不太一樣。

00:16.120 --> 00:21.480
來了好多好多的新人朋友們,不知道要怎麼自己去編譯引擎,甚至連怎麼用AI都不知道。

00:21.480 --> 00:26.680
這個,也不知道,模型部署之後,必須要調整一下參數來做本機適配。

00:26.680 --> 00:32.360
我看後台私信,各種情況都有,報险存的,速度慢的,還有部署失敗來罵我的。

00:32.360 --> 00:34.360
罵我沒事,別侮辱咱們的技術。

00:34.360 --> 00:39.560
我們這套方案裡面用的各種各樣的技術,如果寫到論文裡面,光引用,兩張紙都寫不完。

00:39.560 --> 00:42.360
都是各個大佬的偶心立穴的經驗的作品。

00:42.360 --> 00:47.760
我們等會給大家來展示一下,我們一共做過哪些調優的項目,非常的多,但能看到大家眼花撩亂的地步。

00:47.760 --> 00:51.440
只有這麼多的調優,才能保證我們的速度達到那麼的極致。

00:51.440 --> 00:56.560
先說一下,我們這個版本比我們兩天前的版本要進化了哪些,等等黨的勝利。

00:56.680 --> 00:59.640
首先是我們的速度又有了一定的提升。

00:59.640 --> 01:04.360
我們的急速檔的速度,達到了我們一開始預期的單流300加的一個目標。

01:04.360 --> 01:06.360
有關這個地方我們可以進行結案了。

01:06.360 --> 01:12.680
它終於達成了我們一開始所定的單流300的目標,作為一個稠米模型,跑出了MOE的速度。

01:12.680 --> 01:18.640
我這裡寫的甚至有點保守了,因為在我們一些比較特定的情況下,它能跑到350多,Token沒妙。

01:18.640 --> 01:24.000
我們找了一些志願者來幫我們測我們的引擎,我們的5090D的大哥能跑到500多。

01:24.000 --> 01:26.960
我看評論區也有一些大佬來自己做了一個適配。

01:26.960 --> 01:31.680
適配完了之後,它的5080能跑到400,摸到400的線了,還是非常非常厲害的。

01:31.680 --> 01:38.480
但是我給大家說一下,我們日常的工作,因為工作都是有綜合性的,裡面有文字有代碼或者其他的一些什麼東西。

01:38.480 --> 01:41.680
它的速度可能達不到這麼一個特定情況下的峰值。

01:41.680 --> 01:45.680
正常的話就200幾十左右,在我4080的顯卡上。

01:45.680 --> 01:50.640
而且散文是它的一個弱勢,散文的話只有100幾十的Token名妙。

01:50.640 --> 01:53.360
我們其實還有很多的加速方案沒有用上。

01:53.360 --> 01:57.360
我看社區裡面有很多人已經跑出了非常非常誇張的速度了,比我們速度還要快。

01:57.360 --> 02:00.800
我們也有很多很多的加速方案沒有去用上。

02:00.800 --> 02:02.800
是因為我們自己主動的選擇了放棄。

02:02.800 --> 02:07.360
比如說有一些方法,比如說早退,就模型那麼多的層級,我們不把它算完。

02:07.360 --> 02:11.360
我們算到60%,我們算到80%,我們就直接結束計算。

02:11.360 --> 02:14.880
這是一種方式,可以提高很高的速度。

02:14.880 --> 02:17.600
再比方說是融層,把不同層給它融起來。

02:17.600 --> 02:20.400
再比如說,我就給大家舉一個例子吧。

02:20.400 --> 02:25.840
我們的投機解碼的方案,投機頭一般會產出好幾個Token,給模型去認。

02:25.840 --> 02:29.840
模型如果不認可第一個Token的話,它會把後面所有的Token全部都否決掉。

02:29.840 --> 02:34.320
這就像老師給小明批卷子,看到小明卷子的第一個題做錯了。

02:34.320 --> 02:37.320
於是就把它整張卷子全都撕了,是一個道理的。

02:37.320 --> 02:40.320
但其實小明只是第一題錯了,他後面可能甚至全對。

02:40.320 --> 02:44.720
所以,我們清華大學有一個團隊自己做的一個技術。

02:44.720 --> 02:53.200
就是如果第一個Token,它在空間位置上和我們的模型承認的Token相差不大的話,

02:53.200 --> 02:56.560
那麼後面的幾個Token會被它進行一定程度的採用。

02:56.560 --> 02:59.600
不會導致後面的題明明做對了,但是被它撕了的情況。

02:59.600 --> 03:04.000
我們其實還測了一個超級超級急速的急速方案。

03:04.000 --> 03:06.800
那個數據測出來真的是駭人聽聞的一個速度。

03:06.800 --> 03:09.120
但是質量比較的差。

03:09.120 --> 03:10.880
基本上都跟那些MOE似的。

03:10.880 --> 03:14.320
所以在這些加速的技術當中,我們做出了一定的取捨。

03:14.320 --> 03:17.120
剛才給大家描述的這三種技術都被我們給否了。

03:17.120 --> 03:19.120
不然的話,它的速度會非常非常的嚇人。

03:19.120 --> 03:21.120
我們不希望模型是傻快。

03:21.120 --> 03:22.720
我們希望模型是聰明的快。

03:22.720 --> 03:23.600
有質量的快。

03:23.600 --> 03:26.400
所以大家注意一下,我們基本的最終的定檔的速度,

03:26.400 --> 03:27.840
就定在這麼一個檔位上。

03:27.840 --> 03:29.840
可以更快,但是沒有必要。

03:29.840 --> 03:31.600
那會付出一定的質量的代價。

03:31.600 --> 03:34.400
那麼還有一項進步呢,是我們prefail的速度。

03:34.400 --> 03:38.800
prefail的速度,今天我們對引擎的內核做了一個小手術。

03:38.800 --> 03:41.040
把它的速度提高了大約30%左右。

03:41.040 --> 03:43.600
這個急速檔它的prefail到了2800。

03:43.600 --> 03:45.440
均衡檔的話到了2600。

03:45.440 --> 03:48.240
但大家需要注意一點,給大家強調一下。

03:48.240 --> 03:51.200
這是在我這台4080的顯卡上跑出來的速度。

03:51.200 --> 03:52.640
如果你是別的顯卡,

03:52.640 --> 03:55.120
比方說我們跟我們測引擎的志願者大哥,

03:55.120 --> 03:56.000
它能跑到500度。

03:56.000 --> 03:58.480
如果你的顯卡比我差呢?

03:58.480 --> 04:01.760
那你肯定會比我的數據要稍微的低那麼一些。

04:01.760 --> 04:05.200
如果你拿一個4060或者3060的顯卡來講的話,

04:05.200 --> 04:06.400
你的速度可能只有一百幾。

04:06.400 --> 04:08.240
因為你的帶寬只有我的三分之一左右。

04:08.240 --> 04:10.880
這是顯卡導致你的性能的限制,

04:10.880 --> 04:12.240
不是我們這套方案的問題。

04:12.240 --> 04:14.880
所以在後台不要再私信罵我,說跑不到這個速度了。

04:14.880 --> 04:16.480
你那個老3060,

04:16.480 --> 04:18.320
在我們之前哪敢碰瓷R7B?

04:18.320 --> 04:19.280
大家說是吧?

04:19.280 --> 04:21.360
根據自己的顯卡的情況來。

04:21.360 --> 04:22.960
給大家說一下我們的下載內容。

04:22.960 --> 04:25.280
下載的鏈接已經放在我們的簡介裡邊了。

04:25.280 --> 04:28.000
我們一共有四個包,

04:28.000 --> 04:29.600
分別是急速檔、均衡檔,

04:29.600 --> 04:30.640
還有超低顯存檔,

04:30.640 --> 04:32.800
以及我們額外添加了一個最近很火的

04:32.800 --> 04:34.720
一個swift,一個微調檔。

04:34.720 --> 04:37.680
這個作者說能夠減少很大的思考量。

04:37.680 --> 04:40.800
於是我們把它也加入了我們Nifer的適配當中。

04:40.800 --> 04:42.960
大家按需可以自己下載一下。

04:42.960 --> 04:45.120
把它裝到Nifer當中看一看效果怎麼樣。

04:45.120 --> 04:46.800
我們沒有經過特別多的測試。

04:46.800 --> 04:49.760
只能說它確實在有些地方能夠減少思考。

04:49.760 --> 04:51.280
還是我們之前說的那個問題。

04:51.280 --> 04:53.520
思考量不是越少越好的。

04:53.520 --> 04:55.280
我們自己測的話,

04:55.280 --> 04:56.800
會有一點點的質量損失。

04:56.800 --> 04:59.120
大家自己測一測看看自己能不能接受。

04:59.120 --> 05:00.160
或者說是效果怎麼樣,

05:00.160 --> 05:01.440
也可能是我們自己測的有問題。

05:01.440 --> 05:03.360
接下來是我們今天要講的重點。

05:03.360 --> 05:05.120
講一講我們是怎麼來進行部署的。

05:05.120 --> 05:07.520
在這個過程當中,我們作為人類應該做什麼。

05:07.520 --> 05:09.520
交給AI之後,AI它會做什麼。

05:09.520 --> 05:11.120
我們大家了解一下AI的步驟,

05:11.120 --> 05:12.240
做到心裡邊有數。

05:12.240 --> 05:14.400
首先我們人類要做的事情非常的簡單。

05:14.400 --> 05:15.520
把包給下下來。

05:15.520 --> 05:19.040
然後把包的鏈接發給AI。

05:19.040 --> 05:19.760
這裡需要注意,

05:19.760 --> 05:22.080
我們這個地址必須要保證全英文的地址。

05:22.080 --> 05:23.360
不然的話它會報錯。

05:24.160 --> 05:26.400
把你的文章地址粘貼給你的AI。

05:26.400 --> 05:27.360
後面的工作,

05:27.360 --> 05:28.800
它會問你幾個問題。

05:28.800 --> 05:30.080
你把這幾個問題給它回答一下。

05:30.080 --> 05:32.080
選擇一下自己想要安裝的一個情況。

05:32.080 --> 05:32.960
這樣子的話,

05:32.960 --> 05:34.240
後面你就掛機就行了。

05:34.240 --> 05:35.440
基本上就不用管了。

05:35.440 --> 05:36.560
那麼我們來說一下,

05:36.560 --> 05:37.600
AI拿到這些文件之後,

05:37.600 --> 05:38.400
它會做什麼呢?

05:38.400 --> 05:39.680
首先,AI拿到之後,

05:39.680 --> 05:42.880
我們會強制它給你做一次電腦的一個體檢。

05:42.880 --> 05:44.160
檢查一下你的GPU,

05:44.160 --> 05:45.680
檢查一下你的環境的版本,

05:45.680 --> 05:47.280
檢查一下你的帶寬,

05:47.280 --> 05:48.480
檢查一下你的核心數,

05:48.480 --> 05:49.280
乱七八糟的。

05:49.280 --> 05:51.760
做完全套的體檢之後,

05:51.760 --> 05:53.760
它會根據你的體檢結果,

05:53.760 --> 05:55.440
在我們的整顆包裡邊,

05:55.440 --> 05:58.160
選擇相應的配件和模型製品出來,

05:58.160 --> 06:00.160
來進行整個引擎的搭建。

06:00.160 --> 06:01.040
第三步,

06:01.040 --> 06:03.600
它就會把你的引擎給它編譯出來,

06:03.600 --> 06:04.320
或者搭建出來,

06:04.320 --> 06:05.080
或者是修改出來,

06:05.080 --> 06:06.680
或者是簡單的調試出來。

06:06.680 --> 06:07.120
總之,

06:07.120 --> 06:08.400
它會把它給拉起來,

06:08.400 --> 06:09.200
先跑一次。

06:09.200 --> 06:10.960
跑完一次之後,

06:10.960 --> 06:13.440
接下來就是我們的重中之重,

06:13.440 --> 06:15.360
也是很多小白卡住的地方。

06:15.360 --> 06:16.720
顯卡性能明明還不錯,

06:16.720 --> 06:18.720
但是速度就是達不到它的預期,

06:18.720 --> 06:21.680
是因為你們沒有做好我們的參數條優。

06:21.680 --> 06:24.560
這個參數條優非常多項,

06:24.560 --> 06:26.880
如果你只是調了一項或兩項就跑了,

06:26.880 --> 06:28.400
那肯定是達不到我們的

06:28.400 --> 06:29.840
這麼一個極限的一個性能的。

06:29.840 --> 06:30.880
給大家看一看,

06:30.880 --> 06:31.520
簡單看一看,

06:31.520 --> 06:33.280
我們的參數條優都包含什麼東西?

06:33.280 --> 06:34.560
首先,

06:34.560 --> 06:36.880
這些項目就都是我們的參數條優的內容。

06:36.880 --> 06:38.560
大家往下翻看看,

06:38.560 --> 06:40.000
基本上都是我們一條一條,

06:40.000 --> 06:41.360
給大家調出來的。

06:41.360 --> 06:43.680
每一條基本上對應著一個大佬的一個,

06:43.680 --> 06:44.880
自己的先進技術,

06:44.880 --> 06:46.000
或者我們自研的一個技術。

06:46.000 --> 06:48.000
還沒到底,

06:48.000 --> 06:49.360
還往後內核也需要改。

06:49.360 --> 06:53.440
基本上就這些條優的項目,

06:53.440 --> 06:56.000
每一條都是大家需要進行條優的。

06:56.000 --> 06:56.960
有人說這也太麻煩了,

06:56.960 --> 06:57.760
大家別擔心。

06:57.760 --> 07:01.360
我們給大家準備了幾個默認參數的版本。

07:01.360 --> 07:02.320
在這個版本裡面,

07:02.320 --> 07:04.480
我們已經給大家調好一部分的參數了。

07:04.480 --> 07:08.480
大家只需要調整剛才那個表格當中的一部分的參數就行。

07:08.480 --> 07:09.760
這些參數呢,

07:09.760 --> 07:10.880
是因為不同的電腦,

07:10.880 --> 07:11.520
不同的顯卡,

07:11.520 --> 07:12.640
不同的環境,

07:12.640 --> 07:14.800
它必須要有靈活的調整,

07:14.800 --> 07:17.200
才能壓榨出最深的極限的性能來。

07:17.200 --> 07:19.600
所以如果你追求只是要用,

07:19.600 --> 07:20.960
那麼到這一步就可以停了。

07:20.960 --> 07:23.040
但如果你想達到咱剛才講過的那些參數,

07:23.040 --> 07:23.840
那些標準,

07:23.840 --> 07:26.800
那麼你必須把這些條優項目挨個走一遍。

07:26.800 --> 07:30.080
這也是之前很多人卡住或者性能不達標的地方。

07:30.080 --> 07:32.640
但是幸好現在是有AI的。

07:32.640 --> 07:34.640
這些活不用你來幹,

07:34.640 --> 07:37.680
AI自己會找到自己需要條優的位置在那。

07:37.680 --> 07:39.120
它都會幫大家一一調好。

07:39.120 --> 07:41.840
這個條優的過程大約在半個小時左右的時間。

07:41.840 --> 07:43.360
根據你的顯卡可能不太一樣。

07:43.360 --> 07:44.800
如果你的顯卡不要到老舊了,

07:44.800 --> 07:46.400
那這個條優的時間可能會更久一點。

07:46.400 --> 07:48.640
引擎要做一個比較完整的適配。

07:48.640 --> 07:50.960
如果你的AI卡住了怎麼辦?

07:50.960 --> 07:52.080
如果你的環境太刁鑽,

07:52.080 --> 07:53.200
或者你的AI走偏了,

07:53.200 --> 07:54.080
性能不是很達標,

07:54.080 --> 07:55.040
不是很聪明,走偏了,

07:55.040 --> 07:56.320
卡住了有點難題了。

07:56.320 --> 07:59.120
我們也給大家準備了排錯的手冊,

07:59.120 --> 08:01.040
以及相應的排錯的處方。

08:01.040 --> 08:03.040
我們總體的思想就是,

08:03.040 --> 08:06.400
讓AI嚴格的執行我們的部署的步驟,

08:06.400 --> 08:08.960
進行引擎的部署、編譯,

08:08.960 --> 08:11.680
以及最最重要的多項條優。

08:11.680 --> 08:14.000
我們還給你的Agent一定的自主選擇權。

08:14.000 --> 08:16.240
它可以根據你自己本機的環境,

08:16.240 --> 08:17.440
來進行自行的工作,

08:17.440 --> 08:19.760
不一定非得參考我們的這麼一個標準。

08:19.760 --> 08:20.400
在這兒,

08:20.400 --> 08:21.600
我們沒有辦法給大家承諾,

08:21.600 --> 08:22.880
所有人都能部署完成,

08:22.880 --> 08:25.120
都能獲得極致的條優屬性。

08:25.120 --> 08:27.200
你可能哪個地方被你的Agent給掠過了,

08:27.200 --> 08:28.960
或者哪個地方被你給打斷了,

08:28.960 --> 08:30.640
或者哪個地方你提前終止了,

08:30.640 --> 08:31.840
都是有可能的。

08:31.840 --> 08:33.520
希望大家能夠理解。

08:33.520 --> 08:35.120
我們整個的包裡面,

08:35.120 --> 08:37.120
還是包含了我們整個項目的所有的圓碼,

08:37.120 --> 08:38.000
我們整體的部署方案,

08:38.000 --> 08:38.880
我們的採坑方案,

08:38.880 --> 08:40.160
不需要大家加情去群,

08:40.160 --> 08:42.240
不需要大家去公共號。

08:42.240 --> 08:45.280
大家直接就可以在我們視頻下面的鏈接裡面,

08:45.280 --> 08:46.240
進行下載。

08:46.240 --> 08:47.680
完全的開源,

08:47.680 --> 08:48.800
完全的免費,

08:48.800 --> 08:49.920
什麼都不要,

08:49.920 --> 08:52.720
只要大家手裡邊一個三連不過分吧。

08:52.720 --> 08:55.200
最後給大家看一看我們的一個小彩蛋,

08:55.200 --> 08:57.760
我們的一個超級大寶貝。

08:57.760 --> 09:02.160
給大家看看我們的大寶貝。

09:02.160 --> 09:03.120
看一看,

09:03.120 --> 09:05.280
GPU佔了27G,

09:05.280 --> 09:09.280
內存佔了84G。

09:09.280 --> 09:14.880
給大家拜個年吧。

09:14.880 --> 09:17.040
萬事如意。

09:17.040 --> 09:18.480
哈哈。

09:18.480 --> 09:20.480
。

09:20.480 --> 09:20.480


09:20.480 --> 09:20.480


09:20.480 --> 09:20.480