小快場 優優優化版來了,這是我們優化版的第二版。
我們這幫抽稿技術的,心裏邊老缺一根弦。
總覺得自己把圓碼都發布了,這下穩了,總不會有人部署不上了吧。
但是,我們也沒想到,上一個視頻推廣的面那麼的廣,和之前的視頻不太一樣。
來了好多好多的新人朋友們,不知道要怎麼自己去編譯引擎,甚至連怎麼用AI都不知道。
這個,也不知道,模型部署之後,必須要調整一下參數來做本機適配。
我看後台私信,各種情況都有,報险存的,速度慢的,還有部署失敗來罵我的。
罵我沒事,別侮辱咱們的技術。
我們這套方案裡面用的各種各樣的技術,如果寫到論文裡面,光引用,兩張紙都寫不完。
都是各個大佬的偶心立穴的經驗的作品。
我們等會給大家來展示一下,我們一共做過哪些調優的項目,非常的多,但能看到大家眼花撩亂的地步。
只有這麼多的調優,才能保證我們的速度達到那麼的極致。
先說一下,我們這個版本比我們兩天前的版本要進化了哪些,等等黨的勝利。
首先是我們的速度又有了一定的提升。
我們的急速檔的速度,達到了我們一開始預期的單流300加的一個目標。
有關這個地方我們可以進行結案了。
它終於達成了我們一開始所定的單流300的目標,作為一個稠米模型,跑出了MOE的速度。
我這裡寫的甚至有點保守了,因為在我們一些比較特定的情況下,它能跑到350多,Token沒妙。
我們找了一些志願者來幫我們測我們的引擎,我們的5090D的大哥能跑到500多。
我看評論區也有一些大佬來自己做了一個適配。
適配完了之後,它的5080能跑到400,摸到400的線了,還是非常非常厲害的。
但是我給大家說一下,我們日常的工作,因為工作都是有綜合性的,裡面有文字有代碼或者其他的一些什麼東西。
它的速度可能達不到這麼一個特定情況下的峰值。
正常的話就200幾十左右,在我4080的顯卡上。
而且散文是它的一個弱勢,散文的話只有100幾十的Token名妙。
我們其實還有很多的加速方案沒有用上。
我看社區裡面有很多人已經跑出了非常非常誇張的速度了,比我們速度還要快。
我們也有很多很多的加速方案沒有去用上。
是因為我們自己主動的選擇了放棄。
比如說有一些方法,比如說早退,就模型那麼多的層級,我們不把它算完。
我們算到60%,我們算到80%,我們就直接結束計算。
這是一種方式,可以提高很高的速度。
再比方說是融層,把不同層給它融起來。
再比如說,我就給大家舉一個例子吧。
我們的投機解碼的方案,投機頭一般會產出好幾個Token,給模型去認。
模型如果不認可第一個Token的話,它會把後面所有的Token全部都否決掉。
這就像老師給小明批卷子,看到小明卷子的第一個題做錯了。
於是就把它整張卷子全都撕了,是一個道理的。
但其實小明只是第一題錯了,他後面可能甚至全對。
所以,我們清華大學有一個團隊自己做的一個技術。
就是如果第一個Token,它在空間位置上和我們的模型承認的Token相差不大的話,
那麼後面的幾個Token會被它進行一定程度的採用。
不會導致後面的題明明做對了,但是被它撕了的情況。
我們其實還測了一個超級超級急速的急速方案。
那個數據測出來真的是駭人聽聞的一個速度。
但是質量比較的差。
基本上都跟那些MOE似的。
所以在這些加速的技術當中,我們做出了一定的取捨。
剛才給大家描述的這三種技術都被我們給否了。
不然的話,它的速度會非常非常的嚇人。
我們不希望模型是傻快。
我們希望模型是聰明的快。
有質量的快。
所以大家注意一下,我們基本的最終的定檔的速度,
就定在這麼一個檔位上。
可以更快,但是沒有必要。
那會付出一定的質量的代價。
那麼還有一項進步呢,是我們prefail的速度。
prefail的速度,今天我們對引擎的內核做了一個小手術。
把它的速度提高了大約30%左右。
這個急速檔它的prefail到了2800。
均衡檔的話到了2600。
但大家需要注意一點,給大家強調一下。
這是在我這台4080的顯卡上跑出來的速度。
如果你是別的顯卡,
比方說我們跟我們測引擎的志願者大哥,
它能跑到500度。
如果你的顯卡比我差呢?
那你肯定會比我的數據要稍微的低那麼一些。
如果你拿一個4060或者3060的顯卡來講的話,
你的速度可能只有一百幾。
因為你的帶寬只有我的三分之一左右。
這是顯卡導致你的性能的限制,
不是我們這套方案的問題。
所以在後台不要再私信罵我,說跑不到這個速度了。
你那個老3060,
在我們之前哪敢碰瓷R7B?
大家說是吧?
根據自己的顯卡的情況來。
給大家說一下我們的下載內容。
下載的鏈接已經放在我們的簡介裡邊了。
我們一共有四個包,
分別是急速檔、均衡檔,
還有超低顯存檔,
以及我們額外添加了一個最近很火的
一個swift,一個微調檔。
這個作者說能夠減少很大的思考量。
於是我們把它也加入了我們Nifer的適配當中。
大家按需可以自己下載一下。
把它裝到Nifer當中看一看效果怎麼樣。
我們沒有經過特別多的測試。
只能說它確實在有些地方能夠減少思考。
還是我們之前說的那個問題。
思考量不是越少越好的。
我們自己測的話,
會有一點點的質量損失。
大家自己測一測看看自己能不能接受。
或者說是效果怎麼樣,
也可能是我們自己測的有問題。
接下來是我們今天要講的重點。
講一講我們是怎麼來進行部署的。
在這個過程當中,我們作為人類應該做什麼。
交給AI之後,AI它會做什麼。
我們大家了解一下AI的步驟,
做到心裡邊有數。
首先我們人類要做的事情非常的簡單。
把包給下下來。
然後把包的鏈接發給AI。
這裡需要注意,
我們這個地址必須要保證全英文的地址。
不然的話它會報錯。
把你的文章地址粘貼給你的AI。
後面的工作,
它會問你幾個問題。
你把這幾個問題給它回答一下。
選擇一下自己想要安裝的一個情況。
這樣子的話,
後面你就掛機就行了。
基本上就不用管了。
那麼我們來說一下,
AI拿到這些文件之後,
它會做什麼呢?
首先,AI拿到之後,
我們會強制它給你做一次電腦的一個體檢。
檢查一下你的GPU,
檢查一下你的環境的版本,
檢查一下你的帶寬,
檢查一下你的核心數,
乱七八糟的。
做完全套的體檢之後,
它會根據你的體檢結果,
在我們的整顆包裡邊,
選擇相應的配件和模型製品出來,
來進行整個引擎的搭建。
第三步,
它就會把你的引擎給它編譯出來,
或者搭建出來,
或者是修改出來,
或者是簡單的調試出來。
總之,
它會把它給拉起來,
先跑一次。
跑完一次之後,
接下來就是我們的重中之重,
也是很多小白卡住的地方。
顯卡性能明明還不錯,
但是速度就是達不到它的預期,
是因為你們沒有做好我們的參數條優。
這個參數條優非常多項,
如果你只是調了一項或兩項就跑了,
那肯定是達不到我們的
這麼一個極限的一個性能的。
給大家看一看,
簡單看一看,
我們的參數條優都包含什麼東西?
首先,
這些項目就都是我們的參數條優的內容。
大家往下翻看看,
基本上都是我們一條一條,
給大家調出來的。
每一條基本上對應著一個大佬的一個,
自己的先進技術,
或者我們自研的一個技術。
還沒到底,
還往後內核也需要改。
基本上就這些條優的項目,
每一條都是大家需要進行條優的。
有人說這也太麻煩了,
大家別擔心。
我們給大家準備了幾個默認參數的版本。
在這個版本裡面,
我們已經給大家調好一部分的參數了。
大家只需要調整剛才那個表格當中的一部分的參數就行。
這些參數呢,
是因為不同的電腦,
不同的顯卡,
不同的環境,
它必須要有靈活的調整,
才能壓榨出最深的極限的性能來。
所以如果你追求只是要用,
那麼到這一步就可以停了。
但如果你想達到咱剛才講過的那些參數,
那些標準,
那麼你必須把這些條優項目挨個走一遍。
這也是之前很多人卡住或者性能不達標的地方。
但是幸好現在是有AI的。
這些活不用你來幹,
AI自己會找到自己需要條優的位置在那。
它都會幫大家一一調好。
這個條優的過程大約在半個小時左右的時間。
根據你的顯卡可能不太一樣。
如果你的顯卡不要到老舊了,
那這個條優的時間可能會更久一點。
引擎要做一個比較完整的適配。
如果你的AI卡住了怎麼辦?
如果你的環境太刁鑽,
或者你的AI走偏了,
性能不是很達標,
不是很聪明,走偏了,
卡住了有點難題了。
我們也給大家準備了排錯的手冊,
以及相應的排錯的處方。
我們總體的思想就是,
讓AI嚴格的執行我們的部署的步驟,
進行引擎的部署、編譯,
以及最最重要的多項條優。
我們還給你的Agent一定的自主選擇權。
它可以根據你自己本機的環境,
來進行自行的工作,
不一定非得參考我們的這麼一個標準。
在這兒,
我們沒有辦法給大家承諾,
所有人都能部署完成,
都能獲得極致的條優屬性。
你可能哪個地方被你的Agent給掠過了,
或者哪個地方被你給打斷了,
或者哪個地方你提前終止了,
都是有可能的。
希望大家能夠理解。
我們整個的包裡面,
還是包含了我們整個項目的所有的圓碼,
我們整體的部署方案,
我們的採坑方案,
不需要大家加情去群,
不需要大家去公共號。
大家直接就可以在我們視頻下面的鏈接裡面,
進行下載。
完全的開源,
完全的免費,
什麼都不要,
只要大家手裡邊一個三連不過分吧。
最後給大家看一看我們的一個小彩蛋,
我們的一個超級大寶貝。
給大家看看我們的大寶貝。
看一看,
GPU佔了27G,
內存佔了84G。
給大家拜個年吧。
萬事如意。
哈哈。
。