1
00:00:00,000 --> 00:00:04,120
小快場 優優優化版來了,這是我們優化版的第二版。

2
00:00:04,120 --> 00:00:07,280
我們這幫抽稿技術的,心裏邊老缺一根弦。

3
00:00:07,280 --> 00:00:11,400
總覺得自己把圓碼都發布了,這下穩了,總不會有人部署不上了吧。

4
00:00:11,400 --> 00:00:16,120
但是,我們也沒想到,上一個視頻推廣的面那麼的廣,和之前的視頻不太一樣。

5
00:00:16,120 --> 00:00:21,480
來了好多好多的新人朋友們,不知道要怎麼自己去編譯引擎,甚至連怎麼用AI都不知道。

6
00:00:21,480 --> 00:00:26,680
這個,也不知道,模型部署之後,必須要調整一下參數來做本機適配。

7
00:00:26,680 --> 00:00:32,360
我看後台私信,各種情況都有,報险存的,速度慢的,還有部署失敗來罵我的。

8
00:00:32,360 --> 00:00:34,360
罵我沒事,別侮辱咱們的技術。

9
00:00:34,360 --> 00:00:39,560
我們這套方案裡面用的各種各樣的技術,如果寫到論文裡面,光引用,兩張紙都寫不完。

10
00:00:39,560 --> 00:00:42,360
都是各個大佬的偶心立穴的經驗的作品。

11
00:00:42,360 --> 00:00:47,760
我們等會給大家來展示一下,我們一共做過哪些調優的項目,非常的多,但能看到大家眼花撩亂的地步。

12
00:00:47,760 --> 00:00:51,440
只有這麼多的調優,才能保證我們的速度達到那麼的極致。

13
00:00:51,440 --> 00:00:56,560
先說一下,我們這個版本比我們兩天前的版本要進化了哪些,等等黨的勝利。

14
00:00:56,680 --> 00:00:59,640
首先是我們的速度又有了一定的提升。

15
00:00:59,640 --> 00:01:04,360
我們的急速檔的速度,達到了我們一開始預期的單流300加的一個目標。

16
00:01:04,360 --> 00:01:06,360
有關這個地方我們可以進行結案了。

17
00:01:06,360 --> 00:01:12,680
它終於達成了我們一開始所定的單流300的目標,作為一個稠米模型,跑出了MOE的速度。

18
00:01:12,680 --> 00:01:18,640
我這裡寫的甚至有點保守了,因為在我們一些比較特定的情況下,它能跑到350多,Token沒妙。

19
00:01:18,640 --> 00:01:24,000
我們找了一些志願者來幫我們測我們的引擎,我們的5090D的大哥能跑到500多。

20
00:01:24,000 --> 00:01:26,960
我看評論區也有一些大佬來自己做了一個適配。

21
00:01:26,960 --> 00:01:31,680
適配完了之後,它的5080能跑到400,摸到400的線了,還是非常非常厲害的。

22
00:01:31,680 --> 00:01:38,480
但是我給大家說一下,我們日常的工作,因為工作都是有綜合性的,裡面有文字有代碼或者其他的一些什麼東西。

23
00:01:38,480 --> 00:01:41,680
它的速度可能達不到這麼一個特定情況下的峰值。

24
00:01:41,680 --> 00:01:45,680
正常的話就200幾十左右,在我4080的顯卡上。

25
00:01:45,680 --> 00:01:50,640
而且散文是它的一個弱勢,散文的話只有100幾十的Token名妙。

26
00:01:50,640 --> 00:01:53,360
我們其實還有很多的加速方案沒有用上。

27
00:01:53,360 --> 00:01:57,360
我看社區裡面有很多人已經跑出了非常非常誇張的速度了,比我們速度還要快。

28
00:01:57,360 --> 00:02:00,800
我們也有很多很多的加速方案沒有去用上。

29
00:02:00,800 --> 00:02:02,800
是因為我們自己主動的選擇了放棄。

30
00:02:02,800 --> 00:02:07,360
比如說有一些方法,比如說早退,就模型那麼多的層級,我們不把它算完。

31
00:02:07,360 --> 00:02:11,360
我們算到60%,我們算到80%,我們就直接結束計算。

32
00:02:11,360 --> 00:02:14,880
這是一種方式,可以提高很高的速度。

33
00:02:14,880 --> 00:02:17,600
再比方說是融層,把不同層給它融起來。

34
00:02:17,600 --> 00:02:20,400
再比如說,我就給大家舉一個例子吧。

35
00:02:20,400 --> 00:02:25,840
我們的投機解碼的方案,投機頭一般會產出好幾個Token,給模型去認。

36
00:02:25,840 --> 00:02:29,840
模型如果不認可第一個Token的話,它會把後面所有的Token全部都否決掉。

37
00:02:29,840 --> 00:02:34,320
這就像老師給小明批卷子,看到小明卷子的第一個題做錯了。

38
00:02:34,320 --> 00:02:37,320
於是就把它整張卷子全都撕了,是一個道理的。

39
00:02:37,320 --> 00:02:40,320
但其實小明只是第一題錯了,他後面可能甚至全對。

40
00:02:40,320 --> 00:02:44,720
所以,我們清華大學有一個團隊自己做的一個技術。

41
00:02:44,720 --> 00:02:53,200
就是如果第一個Token,它在空間位置上和我們的模型承認的Token相差不大的話,

42
00:02:53,200 --> 00:02:56,560
那麼後面的幾個Token會被它進行一定程度的採用。

43
00:02:56,560 --> 00:02:59,600
不會導致後面的題明明做對了,但是被它撕了的情況。

44
00:02:59,600 --> 00:03:04,000
我們其實還測了一個超級超級急速的急速方案。

45
00:03:04,000 --> 00:03:06,800
那個數據測出來真的是駭人聽聞的一個速度。

46
00:03:06,800 --> 00:03:09,120
但是質量比較的差。

47
00:03:09,120 --> 00:03:10,880
基本上都跟那些MOE似的。

48
00:03:10,880 --> 00:03:14,320
所以在這些加速的技術當中,我們做出了一定的取捨。

49
00:03:14,320 --> 00:03:17,120
剛才給大家描述的這三種技術都被我們給否了。

50
00:03:17,120 --> 00:03:19,120
不然的話,它的速度會非常非常的嚇人。

51
00:03:19,120 --> 00:03:21,120
我們不希望模型是傻快。

52
00:03:21,120 --> 00:03:22,720
我們希望模型是聰明的快。

53
00:03:22,720 --> 00:03:23,600
有質量的快。

54
00:03:23,600 --> 00:03:26,400
所以大家注意一下,我們基本的最終的定檔的速度,

55
00:03:26,400 --> 00:03:27,840
就定在這麼一個檔位上。

56
00:03:27,840 --> 00:03:29,840
可以更快,但是沒有必要。

57
00:03:29,840 --> 00:03:31,600
那會付出一定的質量的代價。

58
00:03:31,600 --> 00:03:34,400
那麼還有一項進步呢,是我們prefail的速度。

59
00:03:34,400 --> 00:03:38,800
prefail的速度,今天我們對引擎的內核做了一個小手術。

60
00:03:38,800 --> 00:03:41,040
把它的速度提高了大約30%左右。

61
00:03:41,040 --> 00:03:43,600
這個急速檔它的prefail到了2800。

62
00:03:43,600 --> 00:03:45,440
均衡檔的話到了2600。

63
00:03:45,440 --> 00:03:48,240
但大家需要注意一點,給大家強調一下。

64
00:03:48,240 --> 00:03:51,200
這是在我這台4080的顯卡上跑出來的速度。

65
00:03:51,200 --> 00:03:52,640
如果你是別的顯卡,

66
00:03:52,640 --> 00:03:55,120
比方說我們跟我們測引擎的志願者大哥,

67
00:03:55,120 --> 00:03:56,000
它能跑到500度。

68
00:03:56,000 --> 00:03:58,480
如果你的顯卡比我差呢?

69
00:03:58,480 --> 00:04:01,760
那你肯定會比我的數據要稍微的低那麼一些。

70
00:04:01,760 --> 00:04:05,200
如果你拿一個4060或者3060的顯卡來講的話,

71
00:04:05,200 --> 00:04:06,400
你的速度可能只有一百幾。

72
00:04:06,400 --> 00:04:08,240
因為你的帶寬只有我的三分之一左右。

73
00:04:08,240 --> 00:04:10,880
這是顯卡導致你的性能的限制,

74
00:04:10,880 --> 00:04:12,240
不是我們這套方案的問題。

75
00:04:12,240 --> 00:04:14,880
所以在後台不要再私信罵我,說跑不到這個速度了。

76
00:04:14,880 --> 00:04:16,480
你那個老3060,

77
00:04:16,480 --> 00:04:18,320
在我們之前哪敢碰瓷R7B?

78
00:04:18,320 --> 00:04:19,280
大家說是吧?

79
00:04:19,280 --> 00:04:21,360
根據自己的顯卡的情況來。

80
00:04:21,360 --> 00:04:22,960
給大家說一下我們的下載內容。

81
00:04:22,960 --> 00:04:25,280
下載的鏈接已經放在我們的簡介裡邊了。

82
00:04:25,280 --> 00:04:28,000
我們一共有四個包,

83
00:04:28,000 --> 00:04:29,600
分別是急速檔、均衡檔,

84
00:04:29,600 --> 00:04:30,640
還有超低顯存檔,

85
00:04:30,640 --> 00:04:32,800
以及我們額外添加了一個最近很火的

86
00:04:32,800 --> 00:04:34,720
一個swift,一個微調檔。

87
00:04:34,720 --> 00:04:37,680
這個作者說能夠減少很大的思考量。

88
00:04:37,680 --> 00:04:40,800
於是我們把它也加入了我們Nifer的適配當中。

89
00:04:40,800 --> 00:04:42,960
大家按需可以自己下載一下。

90
00:04:42,960 --> 00:04:45,120
把它裝到Nifer當中看一看效果怎麼樣。

91
00:04:45,120 --> 00:04:46,800
我們沒有經過特別多的測試。

92
00:04:46,800 --> 00:04:49,760
只能說它確實在有些地方能夠減少思考。

93
00:04:49,760 --> 00:04:51,280
還是我們之前說的那個問題。

94
00:04:51,280 --> 00:04:53,520
思考量不是越少越好的。

95
00:04:53,520 --> 00:04:55,280
我們自己測的話,

96
00:04:55,280 --> 00:04:56,800
會有一點點的質量損失。

97
00:04:56,800 --> 00:04:59,120
大家自己測一測看看自己能不能接受。

98
00:04:59,120 --> 00:05:00,160
或者說是效果怎麼樣,

99
00:05:00,160 --> 00:05:01,440
也可能是我們自己測的有問題。

100
00:05:01,440 --> 00:05:03,360
接下來是我們今天要講的重點。

101
00:05:03,360 --> 00:05:05,120
講一講我們是怎麼來進行部署的。

102
00:05:05,120 --> 00:05:07,520
在這個過程當中,我們作為人類應該做什麼。

103
00:05:07,520 --> 00:05:09,520
交給AI之後,AI它會做什麼。

104
00:05:09,520 --> 00:05:11,120
我們大家了解一下AI的步驟,

105
00:05:11,120 --> 00:05:12,240
做到心裡邊有數。

106
00:05:12,240 --> 00:05:14,400
首先我們人類要做的事情非常的簡單。

107
00:05:14,400 --> 00:05:15,520
把包給下下來。

108
00:05:15,520 --> 00:05:19,040
然後把包的鏈接發給AI。

109
00:05:19,040 --> 00:05:19,760
這裡需要注意,

110
00:05:19,760 --> 00:05:22,080
我們這個地址必須要保證全英文的地址。

111
00:05:22,080 --> 00:05:23,360
不然的話它會報錯。

112
00:05:24,160 --> 00:05:26,400
把你的文章地址粘貼給你的AI。

113
00:05:26,400 --> 00:05:27,360
後面的工作,

114
00:05:27,360 --> 00:05:28,800
它會問你幾個問題。

115
00:05:28,800 --> 00:05:30,080
你把這幾個問題給它回答一下。

116
00:05:30,080 --> 00:05:32,080
選擇一下自己想要安裝的一個情況。

117
00:05:32,080 --> 00:05:32,960
這樣子的話,

118
00:05:32,960 --> 00:05:34,240
後面你就掛機就行了。

119
00:05:34,240 --> 00:05:35,440
基本上就不用管了。

120
00:05:35,440 --> 00:05:36,560
那麼我們來說一下,

121
00:05:36,560 --> 00:05:37,600
AI拿到這些文件之後,

122
00:05:37,600 --> 00:05:38,400
它會做什麼呢?

123
00:05:38,400 --> 00:05:39,680
首先,AI拿到之後,

124
00:05:39,680 --> 00:05:42,880
我們會強制它給你做一次電腦的一個體檢。

125
00:05:42,880 --> 00:05:44,160
檢查一下你的GPU,

126
00:05:44,160 --> 00:05:45,680
檢查一下你的環境的版本,

127
00:05:45,680 --> 00:05:47,280
檢查一下你的帶寬,

128
00:05:47,280 --> 00:05:48,480
檢查一下你的核心數,

129
00:05:48,480 --> 00:05:49,280
乱七八糟的。

130
00:05:49,280 --> 00:05:51,760
做完全套的體檢之後,

131
00:05:51,760 --> 00:05:53,760
它會根據你的體檢結果,

132
00:05:53,760 --> 00:05:55,440
在我們的整顆包裡邊,

133
00:05:55,440 --> 00:05:58,160
選擇相應的配件和模型製品出來,

134
00:05:58,160 --> 00:06:00,160
來進行整個引擎的搭建。

135
00:06:00,160 --> 00:06:01,040
第三步,

136
00:06:01,040 --> 00:06:03,600
它就會把你的引擎給它編譯出來,

137
00:06:03,600 --> 00:06:04,320
或者搭建出來,

138
00:06:04,320 --> 00:06:05,080
或者是修改出來,

139
00:06:05,080 --> 00:06:06,680
或者是簡單的調試出來。

140
00:06:06,680 --> 00:06:07,120
總之,

141
00:06:07,120 --> 00:06:08,400
它會把它給拉起來,

142
00:06:08,400 --> 00:06:09,200
先跑一次。

143
00:06:09,200 --> 00:06:10,960
跑完一次之後,

144
00:06:10,960 --> 00:06:13,440
接下來就是我們的重中之重,

145
00:06:13,440 --> 00:06:15,360
也是很多小白卡住的地方。

146
00:06:15,360 --> 00:06:16,720
顯卡性能明明還不錯,

147
00:06:16,720 --> 00:06:18,720
但是速度就是達不到它的預期,

148
00:06:18,720 --> 00:06:21,680
是因為你們沒有做好我們的參數條優。

149
00:06:21,680 --> 00:06:24,560
這個參數條優非常多項,

150
00:06:24,560 --> 00:06:26,880
如果你只是調了一項或兩項就跑了,

151
00:06:26,880 --> 00:06:28,400
那肯定是達不到我們的

152
00:06:28,400 --> 00:06:29,840
這麼一個極限的一個性能的。

153
00:06:29,840 --> 00:06:30,880
給大家看一看,

154
00:06:30,880 --> 00:06:31,520
簡單看一看,

155
00:06:31,520 --> 00:06:33,280
我們的參數條優都包含什麼東西?

156
00:06:33,280 --> 00:06:34,560
首先,

157
00:06:34,560 --> 00:06:36,880
這些項目就都是我們的參數條優的內容。

158
00:06:36,880 --> 00:06:38,560
大家往下翻看看,

159
00:06:38,560 --> 00:06:40,000
基本上都是我們一條一條,

160
00:06:40,000 --> 00:06:41,360
給大家調出來的。

161
00:06:41,360 --> 00:06:43,680
每一條基本上對應著一個大佬的一個,

162
00:06:43,680 --> 00:06:44,880
自己的先進技術,

163
00:06:44,880 --> 00:06:46,000
或者我們自研的一個技術。

164
00:06:46,000 --> 00:06:48,000
還沒到底,

165
00:06:48,000 --> 00:06:49,360
還往後內核也需要改。

166
00:06:49,360 --> 00:06:53,440
基本上就這些條優的項目,

167
00:06:53,440 --> 00:06:56,000
每一條都是大家需要進行條優的。

168
00:06:56,000 --> 00:06:56,960
有人說這也太麻煩了,

169
00:06:56,960 --> 00:06:57,760
大家別擔心。

170
00:06:57,760 --> 00:07:01,360
我們給大家準備了幾個默認參數的版本。

171
00:07:01,360 --> 00:07:02,320
在這個版本裡面,

172
00:07:02,320 --> 00:07:04,480
我們已經給大家調好一部分的參數了。

173
00:07:04,480 --> 00:07:08,480
大家只需要調整剛才那個表格當中的一部分的參數就行。

174
00:07:08,480 --> 00:07:09,760
這些參數呢,

175
00:07:09,760 --> 00:07:10,880
是因為不同的電腦,

176
00:07:10,880 --> 00:07:11,520
不同的顯卡,

177
00:07:11,520 --> 00:07:12,640
不同的環境,

178
00:07:12,640 --> 00:07:14,800
它必須要有靈活的調整,

179
00:07:14,800 --> 00:07:17,200
才能壓榨出最深的極限的性能來。

180
00:07:17,200 --> 00:07:19,600
所以如果你追求只是要用,

181
00:07:19,600 --> 00:07:20,960
那麼到這一步就可以停了。

182
00:07:20,960 --> 00:07:23,040
但如果你想達到咱剛才講過的那些參數,

183
00:07:23,040 --> 00:07:23,840
那些標準,

184
00:07:23,840 --> 00:07:26,800
那麼你必須把這些條優項目挨個走一遍。

185
00:07:26,800 --> 00:07:30,080
這也是之前很多人卡住或者性能不達標的地方。

186
00:07:30,080 --> 00:07:32,640
但是幸好現在是有AI的。

187
00:07:32,640 --> 00:07:34,640
這些活不用你來幹,

188
00:07:34,640 --> 00:07:37,680
AI自己會找到自己需要條優的位置在那。

189
00:07:37,680 --> 00:07:39,120
它都會幫大家一一調好。

190
00:07:39,120 --> 00:07:41,840
這個條優的過程大約在半個小時左右的時間。

191
00:07:41,840 --> 00:07:43,360
根據你的顯卡可能不太一樣。

192
00:07:43,360 --> 00:07:44,800
如果你的顯卡不要到老舊了,

193
00:07:44,800 --> 00:07:46,400
那這個條優的時間可能會更久一點。

194
00:07:46,400 --> 00:07:48,640
引擎要做一個比較完整的適配。

195
00:07:48,640 --> 00:07:50,960
如果你的AI卡住了怎麼辦?

196
00:07:50,960 --> 00:07:52,080
如果你的環境太刁鑽,

197
00:07:52,080 --> 00:07:53,200
或者你的AI走偏了,

198
00:07:53,200 --> 00:07:54,080
性能不是很達標,

199
00:07:54,080 --> 00:07:55,040
不是很聪明,走偏了,

200
00:07:55,040 --> 00:07:56,320
卡住了有點難題了。

201
00:07:56,320 --> 00:07:59,120
我們也給大家準備了排錯的手冊,

202
00:07:59,120 --> 00:08:01,040
以及相應的排錯的處方。

203
00:08:01,040 --> 00:08:03,040
我們總體的思想就是,

204
00:08:03,040 --> 00:08:06,400
讓AI嚴格的執行我們的部署的步驟,

205
00:08:06,400 --> 00:08:08,960
進行引擎的部署、編譯,

206
00:08:08,960 --> 00:08:11,680
以及最最重要的多項條優。

207
00:08:11,680 --> 00:08:14,000
我們還給你的Agent一定的自主選擇權。

208
00:08:14,000 --> 00:08:16,240
它可以根據你自己本機的環境,

209
00:08:16,240 --> 00:08:17,440
來進行自行的工作,

210
00:08:17,440 --> 00:08:19,760
不一定非得參考我們的這麼一個標準。

211
00:08:19,760 --> 00:08:20,400
在這兒,

212
00:08:20,400 --> 00:08:21,600
我們沒有辦法給大家承諾,

213
00:08:21,600 --> 00:08:22,880
所有人都能部署完成,

214
00:08:22,880 --> 00:08:25,120
都能獲得極致的條優屬性。

215
00:08:25,120 --> 00:08:27,200
你可能哪個地方被你的Agent給掠過了,

216
00:08:27,200 --> 00:08:28,960
或者哪個地方被你給打斷了,

217
00:08:28,960 --> 00:08:30,640
或者哪個地方你提前終止了,

218
00:08:30,640 --> 00:08:31,840
都是有可能的。

219
00:08:31,840 --> 00:08:33,520
希望大家能夠理解。

220
00:08:33,520 --> 00:08:35,120
我們整個的包裡面,

221
00:08:35,120 --> 00:08:37,120
還是包含了我們整個項目的所有的圓碼,

222
00:08:37,120 --> 00:08:38,000
我們整體的部署方案,

223
00:08:38,000 --> 00:08:38,880
我們的採坑方案,

224
00:08:38,880 --> 00:08:40,160
不需要大家加情去群,

225
00:08:40,160 --> 00:08:42,240
不需要大家去公共號。

226
00:08:42,240 --> 00:08:45,280
大家直接就可以在我們視頻下面的鏈接裡面,

227
00:08:45,280 --> 00:08:46,240
進行下載。

228
00:08:46,240 --> 00:08:47,680
完全的開源,

229
00:08:47,680 --> 00:08:48,800
完全的免費,

230
00:08:48,800 --> 00:08:49,920
什麼都不要,

231
00:08:49,920 --> 00:08:52,720
只要大家手裡邊一個三連不過分吧。

232
00:08:52,720 --> 00:08:55,200
最後給大家看一看我們的一個小彩蛋,

233
00:08:55,200 --> 00:08:57,760
我們的一個超級大寶貝。

234
00:08:57,760 --> 00:09:02,160
給大家看看我們的大寶貝。

235
00:09:02,160 --> 00:09:03,120
看一看,

236
00:09:03,120 --> 00:09:05,280
GPU佔了27G,

237
00:09:05,280 --> 00:09:09,280
內存佔了84G。

238
00:09:09,280 --> 00:09:14,880
給大家拜個年吧。

239
00:09:14,880 --> 00:09:17,040
萬事如意。

240
00:09:17,040 --> 00:09:18,480
哈哈。

241
00:09:18,480 --> 00:09:20,480
。

242
00:09:20,480 --> 00:09:20,480


243
00:09:20,480 --> 00:09:20,480


244
00:09:20,480 --> 00:09:20,480