start	end	text
0	4120	小快場 優優優化版來了,這是我們優化版的第二版。
4120	7280	我們這幫抽稿技術的,心裏邊老缺一根弦。
7280	11400	總覺得自己把圓碼都發布了,這下穩了,總不會有人部署不上了吧。
11400	16120	但是,我們也沒想到,上一個視頻推廣的面那麼的廣,和之前的視頻不太一樣。
16120	21480	來了好多好多的新人朋友們,不知道要怎麼自己去編譯引擎,甚至連怎麼用AI都不知道。
21480	26680	這個,也不知道,模型部署之後,必須要調整一下參數來做本機適配。
26680	32360	我看後台私信,各種情況都有,報险存的,速度慢的,還有部署失敗來罵我的。
32360	34360	罵我沒事,別侮辱咱們的技術。
34360	39560	我們這套方案裡面用的各種各樣的技術,如果寫到論文裡面,光引用,兩張紙都寫不完。
39560	42360	都是各個大佬的偶心立穴的經驗的作品。
42360	47760	我們等會給大家來展示一下,我們一共做過哪些調優的項目,非常的多,但能看到大家眼花撩亂的地步。
47760	51440	只有這麼多的調優,才能保證我們的速度達到那麼的極致。
51440	56560	先說一下,我們這個版本比我們兩天前的版本要進化了哪些,等等黨的勝利。
56680	59640	首先是我們的速度又有了一定的提升。
59640	64360	我們的急速檔的速度,達到了我們一開始預期的單流300加的一個目標。
64360	66360	有關這個地方我們可以進行結案了。
66360	72680	它終於達成了我們一開始所定的單流300的目標,作為一個稠米模型,跑出了MOE的速度。
72680	78640	我這裡寫的甚至有點保守了,因為在我們一些比較特定的情況下,它能跑到350多,Token沒妙。
78640	84000	我們找了一些志願者來幫我們測我們的引擎,我們的5090D的大哥能跑到500多。
84000	86960	我看評論區也有一些大佬來自己做了一個適配。
86960	91680	適配完了之後,它的5080能跑到400,摸到400的線了,還是非常非常厲害的。
91680	98480	但是我給大家說一下,我們日常的工作,因為工作都是有綜合性的,裡面有文字有代碼或者其他的一些什麼東西。
98480	101680	它的速度可能達不到這麼一個特定情況下的峰值。
101680	105680	正常的話就200幾十左右,在我4080的顯卡上。
105680	110640	而且散文是它的一個弱勢,散文的話只有100幾十的Token名妙。
110640	113360	我們其實還有很多的加速方案沒有用上。
113360	117360	我看社區裡面有很多人已經跑出了非常非常誇張的速度了,比我們速度還要快。
117360	120800	我們也有很多很多的加速方案沒有去用上。
120800	122800	是因為我們自己主動的選擇了放棄。
122800	127360	比如說有一些方法,比如說早退,就模型那麼多的層級,我們不把它算完。
127360	131360	我們算到60%,我們算到80%,我們就直接結束計算。
131360	134880	這是一種方式,可以提高很高的速度。
134880	137600	再比方說是融層,把不同層給它融起來。
137600	140400	再比如說,我就給大家舉一個例子吧。
140400	145840	我們的投機解碼的方案,投機頭一般會產出好幾個Token,給模型去認。
145840	149840	模型如果不認可第一個Token的話,它會把後面所有的Token全部都否決掉。
149840	154320	這就像老師給小明批卷子,看到小明卷子的第一個題做錯了。
154320	157320	於是就把它整張卷子全都撕了,是一個道理的。
157320	160320	但其實小明只是第一題錯了,他後面可能甚至全對。
160320	164720	所以,我們清華大學有一個團隊自己做的一個技術。
164720	173200	就是如果第一個Token,它在空間位置上和我們的模型承認的Token相差不大的話,
173200	176560	那麼後面的幾個Token會被它進行一定程度的採用。
176560	179600	不會導致後面的題明明做對了,但是被它撕了的情況。
179600	184000	我們其實還測了一個超級超級急速的急速方案。
184000	186800	那個數據測出來真的是駭人聽聞的一個速度。
186800	189120	但是質量比較的差。
189120	190880	基本上都跟那些MOE似的。
190880	194320	所以在這些加速的技術當中,我們做出了一定的取捨。
194320	197120	剛才給大家描述的這三種技術都被我們給否了。
197120	199120	不然的話,它的速度會非常非常的嚇人。
199120	201120	我們不希望模型是傻快。
201120	202720	我們希望模型是聰明的快。
202720	203600	有質量的快。
203600	206400	所以大家注意一下,我們基本的最終的定檔的速度,
206400	207840	就定在這麼一個檔位上。
207840	209840	可以更快,但是沒有必要。
209840	211600	那會付出一定的質量的代價。
211600	214400	那麼還有一項進步呢,是我們prefail的速度。
214400	218800	prefail的速度,今天我們對引擎的內核做了一個小手術。
218800	221040	把它的速度提高了大約30%左右。
221040	223600	這個急速檔它的prefail到了2800。
223600	225440	均衡檔的話到了2600。
225440	228240	但大家需要注意一點,給大家強調一下。
228240	231200	這是在我這台4080的顯卡上跑出來的速度。
231200	232640	如果你是別的顯卡,
232640	235120	比方說我們跟我們測引擎的志願者大哥,
235120	236000	它能跑到500度。
236000	238480	如果你的顯卡比我差呢?
238480	241760	那你肯定會比我的數據要稍微的低那麼一些。
241760	245200	如果你拿一個4060或者3060的顯卡來講的話,
245200	246400	你的速度可能只有一百幾。
246400	248240	因為你的帶寬只有我的三分之一左右。
248240	250880	這是顯卡導致你的性能的限制,
250880	252240	不是我們這套方案的問題。
252240	254880	所以在後台不要再私信罵我,說跑不到這個速度了。
254880	256480	你那個老3060,
256480	258320	在我們之前哪敢碰瓷R7B?
258320	259280	大家說是吧?
259280	261360	根據自己的顯卡的情況來。
261360	262960	給大家說一下我們的下載內容。
262960	265280	下載的鏈接已經放在我們的簡介裡邊了。
265280	268000	我們一共有四個包,
268000	269600	分別是急速檔、均衡檔,
269600	270640	還有超低顯存檔,
270640	272800	以及我們額外添加了一個最近很火的
272800	274720	一個swift,一個微調檔。
274720	277680	這個作者說能夠減少很大的思考量。
277680	280800	於是我們把它也加入了我們Nifer的適配當中。
280800	282960	大家按需可以自己下載一下。
282960	285120	把它裝到Nifer當中看一看效果怎麼樣。
285120	286800	我們沒有經過特別多的測試。
286800	289760	只能說它確實在有些地方能夠減少思考。
289760	291280	還是我們之前說的那個問題。
291280	293520	思考量不是越少越好的。
293520	295280	我們自己測的話,
295280	296800	會有一點點的質量損失。
296800	299120	大家自己測一測看看自己能不能接受。
299120	300160	或者說是效果怎麼樣,
300160	301440	也可能是我們自己測的有問題。
301440	303360	接下來是我們今天要講的重點。
303360	305120	講一講我們是怎麼來進行部署的。
305120	307520	在這個過程當中,我們作為人類應該做什麼。
307520	309520	交給AI之後,AI它會做什麼。
309520	311120	我們大家了解一下AI的步驟,
311120	312240	做到心裡邊有數。
312240	314400	首先我們人類要做的事情非常的簡單。
314400	315520	把包給下下來。
315520	319040	然後把包的鏈接發給AI。
319040	319760	這裡需要注意,
319760	322080	我們這個地址必須要保證全英文的地址。
322080	323360	不然的話它會報錯。
324160	326400	把你的文章地址粘貼給你的AI。
326400	327360	後面的工作,
327360	328800	它會問你幾個問題。
328800	330080	你把這幾個問題給它回答一下。
330080	332080	選擇一下自己想要安裝的一個情況。
332080	332960	這樣子的話,
332960	334240	後面你就掛機就行了。
334240	335440	基本上就不用管了。
335440	336560	那麼我們來說一下,
336560	337600	AI拿到這些文件之後,
337600	338400	它會做什麼呢?
338400	339680	首先,AI拿到之後,
339680	342880	我們會強制它給你做一次電腦的一個體檢。
342880	344160	檢查一下你的GPU,
344160	345680	檢查一下你的環境的版本,
345680	347280	檢查一下你的帶寬,
347280	348480	檢查一下你的核心數,
348480	349280	乱七八糟的。
349280	351760	做完全套的體檢之後,
351760	353760	它會根據你的體檢結果,
353760	355440	在我們的整顆包裡邊,
355440	358160	選擇相應的配件和模型製品出來,
358160	360160	來進行整個引擎的搭建。
360160	361040	第三步,
361040	363600	它就會把你的引擎給它編譯出來,
363600	364320	或者搭建出來,
364320	365080	或者是修改出來,
365080	366680	或者是簡單的調試出來。
366680	367120	總之,
367120	368400	它會把它給拉起來,
368400	369200	先跑一次。
369200	370960	跑完一次之後,
370960	373440	接下來就是我們的重中之重,
373440	375360	也是很多小白卡住的地方。
375360	376720	顯卡性能明明還不錯,
376720	378720	但是速度就是達不到它的預期,
378720	381680	是因為你們沒有做好我們的參數條優。
381680	384560	這個參數條優非常多項,
384560	386880	如果你只是調了一項或兩項就跑了,
386880	388400	那肯定是達不到我們的
388400	389840	這麼一個極限的一個性能的。
389840	390880	給大家看一看,
390880	391520	簡單看一看,
391520	393280	我們的參數條優都包含什麼東西?
393280	394560	首先,
394560	396880	這些項目就都是我們的參數條優的內容。
396880	398560	大家往下翻看看,
398560	400000	基本上都是我們一條一條,
400000	401360	給大家調出來的。
401360	403680	每一條基本上對應著一個大佬的一個,
403680	404880	自己的先進技術,
404880	406000	或者我們自研的一個技術。
406000	408000	還沒到底,
408000	409360	還往後內核也需要改。
409360	413440	基本上就這些條優的項目,
413440	416000	每一條都是大家需要進行條優的。
416000	416960	有人說這也太麻煩了,
416960	417760	大家別擔心。
417760	421360	我們給大家準備了幾個默認參數的版本。
421360	422320	在這個版本裡面,
422320	424480	我們已經給大家調好一部分的參數了。
424480	428480	大家只需要調整剛才那個表格當中的一部分的參數就行。
428480	429760	這些參數呢,
429760	430880	是因為不同的電腦,
430880	431520	不同的顯卡,
431520	432640	不同的環境,
432640	434800	它必須要有靈活的調整,
434800	437200	才能壓榨出最深的極限的性能來。
437200	439600	所以如果你追求只是要用,
439600	440960	那麼到這一步就可以停了。
440960	443040	但如果你想達到咱剛才講過的那些參數,
443040	443840	那些標準,
443840	446800	那麼你必須把這些條優項目挨個走一遍。
446800	450080	這也是之前很多人卡住或者性能不達標的地方。
450080	452640	但是幸好現在是有AI的。
452640	454640	這些活不用你來幹,
454640	457680	AI自己會找到自己需要條優的位置在那。
457680	459120	它都會幫大家一一調好。
459120	461840	這個條優的過程大約在半個小時左右的時間。
461840	463360	根據你的顯卡可能不太一樣。
463360	464800	如果你的顯卡不要到老舊了,
464800	466400	那這個條優的時間可能會更久一點。
466400	468640	引擎要做一個比較完整的適配。
468640	470960	如果你的AI卡住了怎麼辦?
470960	472080	如果你的環境太刁鑽,
472080	473200	或者你的AI走偏了,
473200	474080	性能不是很達標,
474080	475040	不是很聪明,走偏了,
475040	476320	卡住了有點難題了。
476320	479120	我們也給大家準備了排錯的手冊,
479120	481040	以及相應的排錯的處方。
481040	483040	我們總體的思想就是,
483040	486400	讓AI嚴格的執行我們的部署的步驟,
486400	488960	進行引擎的部署、編譯,
488960	491680	以及最最重要的多項條優。
491680	494000	我們還給你的Agent一定的自主選擇權。
494000	496240	它可以根據你自己本機的環境,
496240	497440	來進行自行的工作,
497440	499760	不一定非得參考我們的這麼一個標準。
499760	500400	在這兒,
500400	501600	我們沒有辦法給大家承諾,
501600	502880	所有人都能部署完成,
502880	505120	都能獲得極致的條優屬性。
505120	507200	你可能哪個地方被你的Agent給掠過了,
507200	508960	或者哪個地方被你給打斷了,
508960	510640	或者哪個地方你提前終止了,
510640	511840	都是有可能的。
511840	513520	希望大家能夠理解。
513520	515120	我們整個的包裡面,
515120	517120	還是包含了我們整個項目的所有的圓碼,
517120	518000	我們整體的部署方案,
518000	518880	我們的採坑方案,
518880	520160	不需要大家加情去群,
520160	522240	不需要大家去公共號。
522240	525280	大家直接就可以在我們視頻下面的鏈接裡面,
525280	526240	進行下載。
526240	527680	完全的開源,
527680	528800	完全的免費,
528800	529920	什麼都不要,
529920	532720	只要大家手裡邊一個三連不過分吧。
532720	535200	最後給大家看一看我們的一個小彩蛋,
535200	537760	我們的一個超級大寶貝。
537760	542160	給大家看看我們的大寶貝。
542160	543120	看一看,
543120	545280	GPU佔了27G,
545280	549280	內存佔了84G。
549280	554880	給大家拜個年吧。
554880	557040	萬事如意。
557040	558480	哈哈。
558480	560480	。
560480	560480	
560480	560480	
560480	560480