1
00:00:00,000 --> 00:00:06,600
Hello,大家好。今天這個視頻,我們手把手分享一下,如何在本地部署AI大模型。

2
00:00:06,600 --> 00:00:13,500
比方說這個最新的千問3.8模型,並且把這個大模型配置到你的DevSig Hades上面。

3
00:00:13,500 --> 00:00:18,700
無需購買Token,你就可以免費體驗最新的AI大模型和AI智能體。

4
00:00:18,700 --> 00:00:20,500
OK,那我們就開始吧。

5
00:00:22,100 --> 00:00:26,800
那麼,第一步,我們需要下載和安裝AI大模型的部署工具。

6
00:00:26,800 --> 00:00:29,000
我們打開它的GitHub主頁。

7
00:00:29,000 --> 00:00:32,000
找到這裡的Release這個入口。

8
00:00:32,000 --> 00:00:35,000
在這個頁面我們往下拉。

9
00:00:38,000 --> 00:00:41,500
在列表裡面,我們可以看到各種版本的安裝文件。

10
00:00:41,500 --> 00:00:48,000
你要做的就是根據自己的操作系統進行匹配,找到符合你操作系統的壓縮包進行下載。

11
00:00:48,000 --> 00:00:52,500
在這裡呢,我列了一個標格,大家可以對裝著參考一下。

12
00:00:52,500 --> 00:00:58,500
如果你跟我一樣,用的是英伟大的顯卡,你可以在命令行輸入下面這個指令。

13
00:00:58,500 --> 00:01:06,500
指令裡提供的信息顯示,我用的是CUDA 13.3這個版本。

14
00:01:06,500 --> 00:01:08,500
而我的操作系統又是Windows。

15
00:01:08,500 --> 00:01:11,500
所以我在這裡就選擇這兩個壓縮包進行下載。

16
00:01:11,500 --> 00:01:15,500
請大家一定要注意,這兩個壓縮包都要下載。

17
00:01:15,500 --> 00:01:21,500
接下來我們把這兩個下載好的壓縮包放到一個合適的文件夾下。

18
00:01:21,500 --> 00:01:26,500
然後把這兩個壓縮包解壓之後的文件都放在同一個文件夾裡邊。

19
00:01:26,500 --> 00:01:33,500
接下來打開開始菜單,找到編輯環境變量的這個配置項。

20
00:01:33,500 --> 00:01:40,500
點擊這裡的環境變量。

21
00:01:40,500 --> 00:01:43,500
找到系統變量。

22
00:01:43,500 --> 00:01:44,500
找到PASS。

23
00:01:44,500 --> 00:01:46,500
雙擊打開。

24
00:01:46,500 --> 00:01:48,500
然後把這個項目的環境變量。

25
00:01:48,500 --> 00:01:49,500
然後把這個項目的環境變量。

26
00:01:49,500 --> 00:01:50,500
把這個項目的環境變成功。

27
00:01:50,500 --> 00:01:51,500
把這個項目的環境變成功。

28
00:01:51,500 --> 00:01:52,500
把這個項目的環境變成功。

29
00:01:52,500 --> 00:01:53,500
把這個項目的環境變成功。

30
00:01:53,500 --> 00:01:54,500
把這個項目的環境變成功。

31
00:01:54,500 --> 00:01:55,500
把這個項目的環境變成功。

32
00:01:55,500 --> 00:01:56,500
把這個項目的環境變成功。

33
00:01:56,500 --> 00:01:57,500
把這個項目的環境變成功。

34
00:01:57,500 --> 00:01:58,500
把這個項目的環境變成功。

35
00:01:58,500 --> 00:01:59,500
把這個項目的環境。

36
00:01:59,500 --> 00:02:00,500
把這個項目的環境。

37
00:02:00,500 --> 00:02:02,500
把這個項目的環境變成功。

38
00:02:02,500 --> 00:02:03,500
把這個項目的環境變成功。

39
00:02:03,500 --> 00:02:04,500
把這個項目的環境變成功。

40
00:02:04,500 --> 00:02:05,500
把這個項目的環境變成功。

41
00:02:05,500 --> 00:02:06,500
把這個項目的環境變成功。

42
00:02:06,500 --> 00:02:07,500
把這個項目的環境變成功。

43
00:02:07,500 --> 00:02:08,500
把這個項目的環境變成功。

44
00:02:08,500 --> 00:02:09,500
把這個項目的環境變成功。

45
00:02:09,500 --> 00:02:10,500
把這個項目的環境變成功。

46
00:02:10,500 --> 00:02:11,500
把這個項目的環境變成功。

47
00:02:11,500 --> 00:02:12,500
把這個項目的環境變成功。

48
00:02:12,500 --> 00:02:13,500
把這個項目的環境變成功。

49
00:02:13,500 --> 00:02:14,500
把這個項目的環境變成功。

50
00:02:14,500 --> 00:02:15,500
把這個項目的環境變成功。

51
00:02:15,500 --> 00:02:17,500
把這個項目的環境變成功。

52
00:02:17,500 --> 00:02:18,500
把這個項目的環境變成功。

53
00:02:18,500 --> 00:02:19,500
把這個項目的環境變成功。

54
00:02:19,500 --> 00:02:20,500
把這個項目的環境變成功。

55
00:02:20,500 --> 00:02:21,500
把這個項目的環境變成功。

56
00:02:21,500 --> 00:02:22,500
把這個項目的環境變成功。

57
00:02:22,500 --> 00:02:23,500
把這個項目的環境變成功。

58
00:02:23,500 --> 00:02:24,500
把這個項目的環境變成功。

59
00:02:24,500 --> 00:02:25,500
把這個項目的環境變成功。

60
00:02:25,500 --> 00:02:26,500
把這個項目的環境變成功。

61
00:02:26,500 --> 00:02:27,500
把這個項目的環境變成功。

62
00:02:27,500 --> 00:02:28,500
把這個項目的環境變成功。

63
00:02:28,500 --> 00:02:29,500
把這個項目的環境變成功。

64
00:02:29,500 --> 00:02:30,500
把這個項目的環境變成功。

65
00:02:30,500 --> 00:02:32,500
這個項目的環境變成功。

66
00:02:32,500 --> 00:02:33,500
這個項目的環境變成功。

67
00:02:33,500 --> 00:02:34,500
把這個項目的環境變成功。

68
00:02:34,500 --> 00:02:35,500
把這個項目的環境變成功。

69
00:02:35,500 --> 00:02:36,500
把這個項目的環境變成功。

70
00:02:36,500 --> 00:02:37,500
把這個項目的環境變成功。

71
00:02:37,500 --> 00:02:38,500
把這個項目的環境變成功。

72
00:02:38,500 --> 00:02:39,500
把這個項目的環境變成功。

73
00:02:39,500 --> 00:02:40,500
把這個項目的環境變成功。

74
00:02:40,500 --> 00:02:41,500
把這個項目的環境變成功。

75
00:02:41,500 --> 00:02:42,500
把這個項目的環境變成功。

76
00:02:42,500 --> 00:02:43,500
把這個項目的環境變成功。

77
00:02:43,500 --> 00:02:44,500
把這個項目的環境變成功。

78
00:02:44,500 --> 00:02:45,500
把這個項目的環境變成功。

79
00:02:45,500 --> 00:02:50,500
在項目下,我們勾選這個GGUF的選項。

80
00:02:50,500 --> 00:02:55,500
在這個選項下的模型都是壓縮版的大模型。

81
00:02:55,500 --> 00:02:57,500
因為原版的大模型體積過於驅大。

82
00:02:57,500 --> 00:03:01,500
所以個人電腦想要跑起來會非常的費勁。

83
00:03:01,500 --> 00:03:06,500
那在這裡呢,我們就選擇這個最新的千吻3.8的AI大模型。

84
00:03:06,500 --> 00:03:11,500
在這個大模型的主項下,我們找到右側這裡。

85
00:03:11,500 --> 00:03:14,500
我們在這裡根據自己的設備情況。

86
00:03:14,500 --> 00:03:17,500
選擇一個看起來沒有那麼嚇人的大模型。

87
00:03:17,500 --> 00:03:20,500
點擊它。

88
00:03:20,500 --> 00:03:21,500
點擊這裡。

89
00:03:21,500 --> 00:03:23,500
我們複製這一條指令。

90
00:03:23,500 --> 00:03:25,500
一會兒我們會用到它。

91
00:03:25,500 --> 00:03:28,500
接下來我們找到一個合適的文件夾。

92
00:03:28,500 --> 00:03:30,500
打開命令號終端。

93
00:03:30,500 --> 00:03:33,500
我們先輸入這一條指令。

94
00:03:33,500 --> 00:03:35,500
大家一定一定要輸入這個指令。

95
00:03:35,500 --> 00:03:37,500
不然的話你在下載大模型的時候,

96
00:03:37,500 --> 00:03:39,500
那個速度會非常非常的慢。

97
00:03:39,500 --> 00:03:43,500
接下來將剛才複製的指令粘貼過來。

98
00:03:43,500 --> 00:03:45,500
在最後呢,我們加了一些參數。

99
00:03:45,500 --> 00:03:49,500
它的作用呢,是把大模型下載到當前的這個文件夾下。

100
00:03:53,500 --> 00:03:55,500
可以看到它的下載速度是非常快的。

101
00:03:55,500 --> 00:03:57,500
可以達到20Mbps。

102
00:03:58,500 --> 00:04:04,500
稍等片刻之後呢,我們可以看到這個千吻大模型已經成功下載到了當前這個文件夾中。

103
00:04:04,500 --> 00:04:08,500
我們在命令號終端,輸入這個指令。

104
00:04:08,500 --> 00:04:11,500
這裡-m的意思就是model的意思。

105
00:04:11,500 --> 00:04:14,500
它會把指令的大模型加載進來。

106
00:04:20,500 --> 00:04:23,500
稍等片刻之後呢,它就會加載成功。

107
00:04:24,500 --> 00:04:25,500
我們打開瀏覽器。

108
00:04:25,500 --> 00:04:28,500
在地址欄輸入這個地址。

109
00:04:28,500 --> 00:04:30,500
可以看到這裡顯示OK。

110
00:04:30,500 --> 00:04:33,500
這個表明我們的大模型已經加載成功了。

111
00:04:35,500 --> 00:04:39,500
接下來我們保持這個大模型的加載頁面不變。

112
00:04:39,500 --> 00:04:41,500
重新開啟一個命令號終端。

113
00:04:41,500 --> 00:04:42,500
輸入下面這個指令。

114
00:04:42,500 --> 00:04:44,500
啟動Deepseek Harness。

115
00:04:44,500 --> 00:04:49,500
在Deepseek Harness這個頁面下呢,我們點擊左下角的設置。

116
00:04:50,500 --> 00:04:52,500
點擊這裡的模型。

117
00:04:52,500 --> 00:04:54,500
點擊這裡的添加自定義。

118
00:04:54,500 --> 00:04:58,500
ID這裡呢,我們可以自定義一個。

119
00:04:58,500 --> 00:05:00,500
比方說就叫千問。

120
00:05:00,500 --> 00:05:02,500
顯示名稱這裡呢,我們也可以自定義。

121
00:05:02,500 --> 00:05:04,500
比方說叫千問Local。

122
00:05:04,500 --> 00:05:07,500
API地址這裡呢,要跟視頻這裡呢,保持一致。

123
00:05:07,500 --> 00:05:10,500
密要這裡呢,我們隨意輸入一些內容就可以了。

124
00:05:10,500 --> 00:05:12,500
比方說123-3-21。

125
00:05:12,500 --> 00:05:15,500
接下來我們點擊這個獲取模型。

126
00:05:15,500 --> 00:05:17,500
點擊添加。

127
00:05:17,500 --> 00:05:19,500
點擊創建。

128
00:05:21,500 --> 00:05:25,500
可以看到我們本地部署的千萬大模型已經添加成功了。

129
00:05:25,500 --> 00:05:28,500
點擊創建。

130
00:05:28,500 --> 00:05:29,500
點擊創建。

131
00:05:29,500 --> 00:05:30,500
點擊創建。

132
00:05:30,500 --> 00:05:31,500
點擊創建。

133
00:05:31,500 --> 00:05:32,500
點擊創建。

134
00:05:32,500 --> 00:05:33,500
點擊創建。

135
00:05:33,500 --> 00:05:34,500
點擊創建。

136
00:05:34,500 --> 00:05:35,500
點擊創建。

137
00:05:35,500 --> 00:05:36,500
點擊創建。

138
00:05:36,500 --> 00:05:37,500
點擊創建。

139
00:05:37,500 --> 00:05:38,500
點擊創建。

140
00:05:38,500 --> 00:05:39,500
點擊創建。

141
00:05:39,500 --> 00:05:40,500
點擊創建。

142
00:05:40,500 --> 00:05:41,500
點擊創建。

143
00:05:41,500 --> 00:05:42,500
點擊創建。

144
00:05:42,500 --> 00:05:43,500
點擊創建。

145
00:05:43,500 --> 00:05:44,500
點擊創建。

146
00:05:44,500 --> 00:05:45,500
點擊創建。

147
00:05:45,500 --> 00:05:46,500
點擊創建。

148
00:05:46,500 --> 00:05:47,500
點擊創建。

149
00:05:47,500 --> 00:05:48,500
點擊創建。

150
00:05:48,500 --> 00:05:49,500
點擊創建。

151
00:05:49,500 --> 00:05:50,500
點擊創建。

152
00:05:50,500 --> 00:05:51,500
點擊創建。

153
00:05:51,500 --> 00:05:52,500
點擊創建。

154
00:05:52,500 --> 00:05:53,500
點擊創建。

155
00:05:53,500 --> 00:05:56,500
點擊創建。

156
00:05:56,500 --> 00:05:57,500
點擊創建。

157
00:05:57,500 --> 00:05:58,500
點擊創建。

158
00:05:58,500 --> 00:05:59,500
點擊創建。

159
00:05:59,500 --> 00:06:00,500
點擊創建。

160
00:06:00,500 --> 00:06:01,500
點擊創建。

161
00:06:01,500 --> 00:06:02,500
點擊創建。

162
00:06:02,500 --> 00:06:03,500
點擊創建。

163
00:06:03,500 --> 00:06:04,500
點擊創建。

164
00:06:04,500 --> 00:06:05,500
點擊創建。

165
00:06:05,500 --> 00:06:06,500
點擊創建。

166
00:06:06,500 --> 00:06:07,500
點擊創建。

167
00:06:07,500 --> 00:06:08,500
點擊創建。

168
00:06:08,500 --> 00:06:09,500
點擊創建。

169
00:06:09,500 --> 00:06:10,500
點擊創建。

170
00:06:10,500 --> 00:06:11,500
點擊創建。

171
00:06:11,500 --> 00:06:12,500
點擊創建。

172
00:06:12,500 --> 00:06:13,500
點擊創建。

173
00:06:13,500 --> 00:06:14,500
點擊創建。

174
00:06:14,500 --> 00:06:15,500
點擊創建。

175
00:06:15,500 --> 00:06:16,500
點擊創建。

176
00:06:16,500 --> 00:06:17,500
點擊創建。

177
00:06:17,500 --> 00:06:18,500
點擊創建。

178
00:06:18,500 --> 00:06:19,500
點擊創建。

179
00:06:19,500 --> 00:06:20,500
點擊創建。

180
00:06:20,500 --> 00:06:21,500
點擊創建。

181
00:06:21,500 --> 00:06:22,500
點擊創建。

182
00:06:22,500 --> 00:06:23,500
點擊創建。

183
00:06:23,500 --> 00:06:24,500
點擊創建。

184
00:06:24,500 --> 00:06:25,500
點擊創建。

185
00:06:25,500 --> 00:06:26,500
點擊創建。

186
00:06:26,500 --> 00:06:27,500
點擊創建。

187
00:06:27,500 --> 00:06:28,500
點擊創建。

188
00:06:28,500 --> 00:06:29,500
點擊創建。

189
00:06:29,500 --> 00:06:30,500
點擊創建。

190
00:06:30,500 --> 00:06:31,500
點擊創建。

191
00:06:31,500 --> 00:06:32,500
點擊創建。

192
00:06:32,500 --> 00:06:33,500
點擊創建。

193
00:06:33,500 --> 00:06:34,500
點擊創建。

194
00:06:34,500 --> 00:06:35,500
點擊創建。

195
00:06:35,500 --> 00:06:36,500
點擊創建。

196
00:06:36,500 --> 00:06:37,500
點擊創建。

197
00:06:37,500 --> 00:06:38,500
點擊創建。

198
00:06:38,500 --> 00:06:39,500
點擊創建。

199
00:06:39,500 --> 00:06:40,500
點擊創建。

200
00:06:40,500 --> 00:06:41,500
點擊創建。

201
00:06:41,500 --> 00:06:42,500
點擊創建。

202
00:06:42,500 --> 00:06:43,500
點擊創建。

203
00:06:43,500 --> 00:06:44,500
點擊創建。

204
00:06:44,500 --> 00:06:45,500
點擊創建。

205
00:06:45,500 --> 00:06:46,500
點擊創建。

206
00:06:46,500 --> 00:06:47,500
點擊創建。

207
00:06:47,500 --> 00:06:48,500
點擊創建。

208
00:06:48,500 --> 00:06:49,500
點擊創建。

209
00:06:49,500 --> 00:06:50,500
點擊創建。

210
00:06:50,500 --> 00:06:51,500
點擊創建。

211
00:06:51,500 --> 00:06:52,500
點擊創建。

212
00:06:52,500 --> 00:06:53,500
點擊創建。

213
00:06:53,500 --> 00:06:54,500
點擊創建。

214
00:06:54,500 --> 00:06:55,500
點擊創建。

215
00:06:55,500 --> 00:06:56,500
點擊創建。

216
00:06:56,500 --> 00:06:57,500
點擊創建。

217
00:06:57,500 --> 00:06:58,500
點擊創建。

218
00:06:58,500 --> 00:06:59,500
點擊創建。

219
00:06:59,500 --> 00:07:00,500
點擊創建。

220
00:07:00,500 --> 00:07:01,500
點擊創建。

221
00:07:01,500 --> 00:07:02,500
點擊創建。

222
00:07:02,500 --> 00:07:03,500
點擊創建。

223
00:07:03,500 --> 00:07:04,500
點擊創建。

224
00:07:04,500 --> 00:07:05,500
點擊創建。

225
00:07:05,500 --> 00:07:06,500
點擊創建。

226
00:07:06,500 --> 00:07:07,500
點擊創建。

227
00:07:07,500 --> 00:07:08,500
點擊創建。

228
00:07:08,500 --> 00:07:09,500
點擊創建。

229
00:07:09,500 --> 00:07:10,500
點擊創建。

230
00:07:10,500 --> 00:07:11,500
點擊創建。

231
00:07:11,500 --> 00:07:12,500
點擊創建。

232
00:07:12,500 --> 00:07:13,500
點擊創建。

233
00:07:13,500 --> 00:07:14,500
點擊創建。

234
00:07:14,500 --> 00:07:15,500
點擊創建。

235
00:07:15,500 --> 00:07:16,500
點擊創建。

236
00:07:16,500 --> 00:07:17,500
點擊創建。

237
00:07:17,500 --> 00:07:18,500
點擊創建。

238
00:07:18,500 --> 00:07:19,500
點擊創建。

239
00:07:19,500 --> 00:07:20,500
點擊創建。