0:00.000–0:00.990
enHello,
0:00.990–0:01.650
zh大家好。
0:01.650–0:02.805
zh今天這個視頻,
0:02.805–0:04.455
zh我們手把手分享一下,
0:04.455–0:06.600
zh如何在本地部署AI大模型。
0:06.600–0:09.167
zh比方說這個最新的千問3.8模型,
0:09.167–0:13.500
zh並且把這個大模型配置到你的DevSig Hades上面。
0:13.500–0:18.700
zh無需購買Token,你就可以免費體驗最新的AI大模型和AI智能體。
0:18.700–0:20.500
zhOK,那我們就開始吧。
0:22.100–0:26.800
zh那麼,第一步,我們需要下載和安裝AI大模型的部署工具。
0:26.800–0:29.000
zh我們打開它的GitHub主頁。
0:29.000–0:32.000
zh找到這裡的Release這個入口。
0:32.000–0:35.000
zh在這個頁面我們往下拉。
0:38.000–0:41.500
zh在列表裡面,我們可以看到各種版本的安裝文件。
0:41.500–0:44.921
zh你要做的就是根據自己的操作系統進行匹配,
0:44.921–0:48.000
zh找到符合你操作系統的壓縮包進行下載。
0:48.000–0:52.500
zh在這裡呢,我列了一個標格,大家可以對裝著參考一下。
0:52.500–0:58.500
zh如果你跟我一樣,用的是英伟大的顯卡,你可以在命令行輸入下面這個指令。
0:58.500–1:06.500
zh指令裡提供的信息顯示,我用的是CUDA 13.3這個版本。
1:06.500–1:08.500
zh而我的操作系統又是Windows。
1:08.500–1:11.500
zh所以我在這裡就選擇這兩個壓縮包進行下載。
1:11.500–1:15.500
zh請大家一定要注意,這兩個壓縮包都要下載。
1:15.500–1:21.500
zh接下來我們把這兩個下載好的壓縮包放到一個合適的文件夾下。
1:21.500–1:26.500
zh然後把這兩個壓縮包解壓之後的文件都放在同一個文件夾裡邊。
1:26.500–1:33.500
zh接下來打開開始菜單,找到編輯環境變量的這個配置項。
1:33.500–1:40.500
zh點擊這裡的環境變量。
1:40.500–1:43.500
zh找到系統變量。
1:43.500–1:44.500
zh找到PASS。
1:44.500–1:46.500
zh雙擊打開。
1:46.500–1:48.500
zh然後把這個項目的環境變量。
1:48.500–1:49.500
zh然後把這個項目的環境變量。
1:49.500–1:50.500
zh把這個項目的環境變成功。
1:50.500–1:51.500
zh把這個項目的環境變成功。
1:51.500–1:52.500
zh把這個項目的環境變成功。
1:52.500–1:53.500
zh把這個項目的環境變成功。
1:53.500–1:54.500
zh把這個項目的環境變成功。
1:54.500–1:55.500
zh把這個項目的環境變成功。
1:55.500–1:56.500
zh把這個項目的環境變成功。
1:56.500–1:57.500
zh把這個項目的環境變成功。
1:57.500–1:58.500
zh把這個項目的環境變成功。
1:58.500–1:59.500
zh把這個項目的環境。
1:59.500–2:00.500
zh把這個項目的環境。
2:00.500–2:02.500
zh把這個項目的環境變成功。
2:02.500–2:03.500
zh把這個項目的環境變成功。
2:03.500–2:04.500
zh把這個項目的環境變成功。
2:04.500–2:05.500
zh把這個項目的環境變成功。
2:05.500–2:06.500
zh把這個項目的環境變成功。
2:06.500–2:07.500
zh把這個項目的環境變成功。
2:07.500–2:08.500
zh把這個項目的環境變成功。
2:08.500–2:09.500
zh把這個項目的環境變成功。
2:09.500–2:10.500
zh把這個項目的環境變成功。
2:10.500–2:11.500
zh把這個項目的環境變成功。
2:11.500–2:12.500
zh把這個項目的環境變成功。
2:12.500–2:13.500
zh把這個項目的環境變成功。
2:13.500–2:14.500
zh把這個項目的環境變成功。
2:14.500–2:15.500
zh把這個項目的環境變成功。
2:15.500–2:17.500
zh把這個項目的環境變成功。
2:17.500–2:18.500
zh把這個項目的環境變成功。
2:18.500–2:19.500
zh把這個項目的環境變成功。
2:19.500–2:20.500
zh把這個項目的環境變成功。
2:20.500–2:21.500
zh把這個項目的環境變成功。
2:21.500–2:22.500
zh把這個項目的環境變成功。
2:22.500–2:23.500
zh把這個項目的環境變成功。
2:23.500–2:24.500
zh把這個項目的環境變成功。
2:24.500–2:25.500
zh把這個項目的環境變成功。
2:25.500–2:26.500
zh把這個項目的環境變成功。
2:26.500–2:27.500
zh把這個項目的環境變成功。
2:27.500–2:28.500
zh把這個項目的環境變成功。
2:28.500–2:29.500
zh把這個項目的環境變成功。
2:29.500–2:30.500
zh把這個項目的環境變成功。
2:30.500–2:32.500
zh這個項目的環境變成功。
2:32.500–2:33.500
zh這個項目的環境變成功。
2:33.500–2:34.500
zh把這個項目的環境變成功。
2:34.500–2:35.500
zh把這個項目的環境變成功。
2:35.500–2:36.500
zh把這個項目的環境變成功。
2:36.500–2:37.500
zh把這個項目的環境變成功。
2:37.500–2:38.500
zh把這個項目的環境變成功。
2:38.500–2:39.500
zh把這個項目的環境變成功。
2:39.500–2:40.500
zh把這個項目的環境變成功。
2:40.500–2:41.500
zh把這個項目的環境變成功。
2:41.500–2:42.500
zh把這個項目的環境變成功。
2:42.500–2:43.500
zh把這個項目的環境變成功。
2:43.500–2:44.500
zh把這個項目的環境變成功。
2:44.500–2:45.500
zh把這個項目的環境變成功。
2:45.500–2:50.500
zh在項目下,我們勾選這個GGUF的選項。
2:50.500–2:55.500
zh在這個選項下的模型都是壓縮版的大模型。
2:55.500–2:57.500
zh因為原版的大模型體積過於驅大。
2:57.500–3:01.500
zh所以個人電腦想要跑起來會非常的費勁。
3:01.500–3:06.500
zh那在這裡呢,我們就選擇這個最新的千吻3.8的AI大模型。
3:06.500–3:11.500
zh在這個大模型的主項下,我們找到右側這裡。
3:11.500–3:14.500
zh我們在這裡根據自己的設備情況。
3:14.500–3:17.500
zh選擇一個看起來沒有那麼嚇人的大模型。
3:17.500–3:20.500
zh點擊它。
3:20.500–3:21.500
zh點擊這裡。
3:21.500–3:23.500
zh我們複製這一條指令。
3:23.500–3:25.500
zh一會兒我們會用到它。
3:25.500–3:28.500
zh接下來我們找到一個合適的文件夾。
3:28.500–3:30.500
zh打開命令號終端。
3:30.500–3:33.500
zh我們先輸入這一條指令。
3:33.500–3:35.500
zh大家一定一定要輸入這個指令。
3:35.500–3:37.500
zh不然的話你在下載大模型的時候,
3:37.500–3:39.500
zh那個速度會非常非常的慢。
3:39.500–3:43.500
zh接下來將剛才複製的指令粘貼過來。
3:43.500–3:45.500
zh在最後呢,我們加了一些參數。
3:45.500–3:49.500
zh它的作用呢,是把大模型下載到當前的這個文件夾下。
3:53.500–3:55.500
zh可以看到它的下載速度是非常快的。
3:55.500–3:57.500
zh可以達到20Mbps。
3:58.500–3:59.763
zh稍等片刻之後呢,
3:59.763–4:04.500
zh我們可以看到這個千吻大模型已經成功下載到了當前這個文件夾中。
4:04.500–4:08.500
zh我們在命令號終端,輸入這個指令。
4:08.500–4:11.500
zh這裡-m的意思就是model的意思。
4:11.500–4:14.500
zh它會把指令的大模型加載進來。
4:20.500–4:23.500
zh稍等片刻之後呢,它就會加載成功。
4:24.500–4:25.500
zh我們打開瀏覽器。
4:25.500–4:28.500
zh在地址欄輸入這個地址。
4:28.500–4:30.500
zh可以看到這裡顯示OK。
4:30.500–4:33.500
zh這個表明我們的大模型已經加載成功了。
4:35.500–4:39.500
zh接下來我們保持這個大模型的加載頁面不變。
4:39.500–4:41.500
zh重新開啟一個命令號終端。
4:41.500–4:42.500
zh輸入下面這個指令。
4:42.500–4:44.500
zh啟動Deepseek Harness。
4:44.500–4:49.500
zh在Deepseek Harness這個頁面下呢,我們點擊左下角的設置。
4:50.500–4:52.500
zh點擊這裡的模型。
4:52.500–4:54.500
zh點擊這裡的添加自定義。
4:54.500–4:58.500
zhID這裡呢,我們可以自定義一個。
4:58.500–5:00.500
zh比方說就叫千問。
5:00.500–5:02.500
zh顯示名稱這裡呢,我們也可以自定義。
5:02.500–5:04.500
zh比方說叫千問Local。
5:04.500–5:07.500
zhAPI地址這裡呢,要跟視頻這裡呢,保持一致。
5:07.500–5:10.500
zh密要這裡呢,我們隨意輸入一些內容就可以了。
5:10.500–5:12.500
zh比方說123-3-21。
5:12.500–5:15.500
zh接下來我們點擊這個獲取模型。
5:15.500–5:17.500
zh點擊添加。
5:17.500–5:19.500
zh點擊創建。
5:21.500–5:25.500
zh可以看到我們本地部署的千萬大模型已經添加成功了。
5:25.500–5:28.500
zh點擊創建。
5:28.500–5:29.500
zh點擊創建。
5:29.500–5:30.500
zh點擊創建。
5:30.500–5:31.500
zh點擊創建。
5:31.500–5:32.500
zh點擊創建。
5:32.500–5:33.500
zh點擊創建。
5:33.500–5:34.500
zh點擊創建。
5:34.500–5:35.500
zh點擊創建。
5:35.500–5:36.500
zh點擊創建。
5:36.500–5:37.500
zh點擊創建。
5:37.500–5:38.500
zh點擊創建。
5:38.500–5:39.500
zh點擊創建。
5:39.500–5:40.500
zh點擊創建。
5:40.500–5:41.500
zh點擊創建。
5:41.500–5:42.500
zh點擊創建。
5:42.500–5:43.500
zh點擊創建。
5:43.500–5:44.500
zh點擊創建。
5:44.500–5:45.500
zh點擊創建。
5:45.500–5:46.500
zh點擊創建。
5:46.500–5:47.500
zh點擊創建。
5:47.500–5:48.500
zh點擊創建。
5:48.500–5:49.500
zh點擊創建。
5:49.500–5:50.500
zh點擊創建。
5:50.500–5:51.500
zh點擊創建。
5:51.500–5:52.500
zh點擊創建。
5:52.500–5:53.500
zh點擊創建。
5:53.500–5:56.500
zh點擊創建。
5:56.500–5:57.500
zh點擊創建。
5:57.500–5:58.500
zh點擊創建。
5:58.500–5:59.500
zh點擊創建。
5:59.500–6:00.500
zh點擊創建。
6:00.500–6:01.500
zh點擊創建。
6:01.500–6:02.500
zh點擊創建。
6:02.500–6:03.500
zh點擊創建。
6:03.500–6:04.500
zh點擊創建。
6:04.500–6:05.500
zh點擊創建。
6:05.500–6:06.500
zh點擊創建。
6:06.500–6:07.500
zh點擊創建。
6:07.500–6:08.500
zh點擊創建。
6:08.500–6:09.500
zh點擊創建。
6:09.500–6:10.500
zh點擊創建。
6:10.500–6:11.500
zh點擊創建。
6:11.500–6:12.500
zh點擊創建。
6:12.500–6:13.500
zh點擊創建。
6:13.500–6:14.500
zh點擊創建。
6:14.500–6:15.500
zh點擊創建。
6:15.500–6:16.500
zh點擊創建。
6:16.500–6:17.500
zh點擊創建。
6:17.500–6:18.500
zh點擊創建。
6:18.500–6:19.500
zh點擊創建。
6:19.500–6:20.500
zh點擊創建。
6:20.500–6:21.500
zh點擊創建。
6:21.500–6:22.500
zh點擊創建。
6:22.500–6:23.500
zh點擊創建。
6:23.500–6:24.500
zh點擊創建。
6:24.500–6:25.500
zh點擊創建。
6:25.500–6:26.500
zh點擊創建。
6:26.500–6:27.500
zh點擊創建。
6:27.500–6:28.500
zh點擊創建。
6:28.500–6:29.500
zh點擊創建。
6:29.500–6:30.500
zh點擊創建。
6:30.500–6:31.500
zh點擊創建。
6:31.500–6:32.500
zh點擊創建。
6:32.500–6:33.500
zh點擊創建。
6:33.500–6:34.500
zh點擊創建。
6:34.500–6:35.500
zh點擊創建。
6:35.500–6:36.500
zh點擊創建。
6:36.500–6:37.500
zh點擊創建。
6:37.500–6:38.500
zh點擊創建。
6:38.500–6:39.500
zh點擊創建。
6:39.500–6:40.500
zh點擊創建。
6:40.500–6:41.500
zh點擊創建。
6:41.500–6:42.500
zh點擊創建。
6:42.500–6:43.500
zh點擊創建。
6:43.500–6:44.500
zh點擊創建。
6:44.500–6:45.500
zh點擊創建。
6:45.500–6:46.500
zh點擊創建。
6:46.500–6:47.500
zh點擊創建。
6:47.500–6:48.500
zh點擊創建。
6:48.500–6:49.500
zh點擊創建。
6:49.500–6:50.500
zh點擊創建。
6:50.500–6:51.500
zh點擊創建。
6:51.500–6:52.500
zh點擊創建。
6:52.500–6:53.500
zh點擊創建。
6:53.500–6:54.500
zh點擊創建。
6:54.500–6:55.500
zh點擊創建。
6:55.500–6:56.500
zh點擊創建。
6:56.500–6:57.500
zh點擊創建。
6:57.500–6:58.500
zh點擊創建。
6:58.500–6:59.500
zh點擊創建。
6:59.500–7:00.500
zh點擊創建。
7:00.500–7:01.500
zh點擊創建。
7:01.500–7:02.500
zh點擊創建。
7:02.500–7:03.500
zh點擊創建。
7:03.500–7:04.500
zh點擊創建。
7:04.500–7:05.500
zh點擊創建。
7:05.500–7:06.500
zh點擊創建。
7:06.500–7:07.500
zh點擊創建。
7:07.500–7:08.500
zh點擊創建。
7:08.500–7:09.500
zh點擊創建。
7:09.500–7:10.500
zh點擊創建。
7:10.500–7:11.500
zh點擊創建。
7:11.500–7:12.500
zh點擊創建。
7:12.500–7:13.500
zh點擊創建。
7:13.500–7:14.500
zh點擊創建。
7:14.500–7:15.500
zh點擊創建。
0:00.000–0:00.990
Hello,
0:00.990–0:01.650
大家好。
0:01.650–0:02.805
今天這個視頻,
0:02.805–0:04.455
我們手把手分享一下,
0:04.455–0:06.600
如何在本地部署AI大模型。
0:06.600–0:09.167
比方說這個最新的千問3.8模型,
0:09.167–0:13.500
並且把這個大模型配置到你的DevSig Hades上面。
0:13.500–0:18.700
無需購買Token,你就可以免費體驗最新的AI大模型和AI智能體。
0:18.700–0:20.500
OK,那我們就開始吧。
0:22.100–0:26.800
那麼,第一步,我們需要下載和安裝AI大模型的部署工具。
0:26.800–0:29.000
我們打開它的GitHub主頁。
0:29.000–0:32.000
找到這裡的Release這個入口。
0:32.000–0:35.000
在這個頁面我們往下拉。
0:38.000–0:41.500
在列表裡面,我們可以看到各種版本的安裝文件。
0:41.500–0:44.921
你要做的就是根據自己的操作系統進行匹配,
0:44.921–0:48.000
找到符合你操作系統的壓縮包進行下載。
0:48.000–0:52.500
在這裡呢,我列了一個標格,大家可以對裝著參考一下。
0:52.500–0:58.500
如果你跟我一樣,用的是英伟大的顯卡,你可以在命令行輸入下面這個指令。
0:58.500–1:06.500
指令裡提供的信息顯示,我用的是CUDA 13.3這個版本。
1:06.500–1:08.500
而我的操作系統又是Windows。
1:08.500–1:11.500
所以我在這裡就選擇這兩個壓縮包進行下載。
1:11.500–1:15.500
請大家一定要注意,這兩個壓縮包都要下載。
1:15.500–1:21.500
接下來我們把這兩個下載好的壓縮包放到一個合適的文件夾下。
1:21.500–1:26.500
然後把這兩個壓縮包解壓之後的文件都放在同一個文件夾裡邊。
1:26.500–1:33.500
接下來打開開始菜單,找到編輯環境變量的這個配置項。
1:33.500–1:40.500
點擊這裡的環境變量。
1:40.500–1:43.500
找到系統變量。
1:43.500–1:44.500
找到PASS。
1:44.500–1:46.500
雙擊打開。
1:46.500–1:48.500
然後把這個項目的環境變量。
1:48.500–1:49.500
然後把這個項目的環境變量。
1:49.500–1:50.500
把這個項目的環境變成功。
1:50.500–1:51.500
把這個項目的環境變成功。
1:51.500–1:52.500
把這個項目的環境變成功。
1:52.500–1:53.500
把這個項目的環境變成功。
1:53.500–1:54.500
把這個項目的環境變成功。
1:54.500–1:55.500
把這個項目的環境變成功。
1:55.500–1:56.500
把這個項目的環境變成功。
1:56.500–1:57.500
把這個項目的環境變成功。
1:57.500–1:58.500
把這個項目的環境變成功。
1:58.500–1:59.500
把這個項目的環境。
1:59.500–2:00.500
把這個項目的環境。
2:00.500–2:02.500
把這個項目的環境變成功。
2:02.500–2:03.500
把這個項目的環境變成功。
2:03.500–2:04.500
把這個項目的環境變成功。
2:04.500–2:05.500
把這個項目的環境變成功。
2:05.500–2:06.500
把這個項目的環境變成功。
2:06.500–2:07.500
把這個項目的環境變成功。
2:07.500–2:08.500
把這個項目的環境變成功。
2:08.500–2:09.500
把這個項目的環境變成功。
2:09.500–2:10.500
把這個項目的環境變成功。
2:10.500–2:11.500
把這個項目的環境變成功。
2:11.500–2:12.500
把這個項目的環境變成功。
2:12.500–2:13.500
把這個項目的環境變成功。
2:13.500–2:14.500
把這個項目的環境變成功。
2:14.500–2:15.500
把這個項目的環境變成功。
2:15.500–2:17.500
把這個項目的環境變成功。
2:17.500–2:18.500
把這個項目的環境變成功。
2:18.500–2:19.500
把這個項目的環境變成功。
2:19.500–2:20.500
把這個項目的環境變成功。
2:20.500–2:21.500
把這個項目的環境變成功。
2:21.500–2:22.500
把這個項目的環境變成功。
2:22.500–2:23.500
把這個項目的環境變成功。
2:23.500–2:24.500
把這個項目的環境變成功。
2:24.500–2:25.500
把這個項目的環境變成功。
2:25.500–2:26.500
把這個項目的環境變成功。
2:26.500–2:27.500
把這個項目的環境變成功。
2:27.500–2:28.500
把這個項目的環境變成功。
2:28.500–2:29.500
把這個項目的環境變成功。
2:29.500–2:30.500
把這個項目的環境變成功。
2:30.500–2:32.500
這個項目的環境變成功。
2:32.500–2:33.500
這個項目的環境變成功。
2:33.500–2:34.500
把這個項目的環境變成功。
2:34.500–2:35.500
把這個項目的環境變成功。
2:35.500–2:36.500
把這個項目的環境變成功。
2:36.500–2:37.500
把這個項目的環境變成功。
2:37.500–2:38.500
把這個項目的環境變成功。
2:38.500–2:39.500
把這個項目的環境變成功。
2:39.500–2:40.500
把這個項目的環境變成功。
2:40.500–2:41.500
把這個項目的環境變成功。
2:41.500–2:42.500
把這個項目的環境變成功。
2:42.500–2:43.500
把這個項目的環境變成功。
2:43.500–2:44.500
把這個項目的環境變成功。
2:44.500–2:45.500
把這個項目的環境變成功。
2:45.500–2:50.500
在項目下,我們勾選這個GGUF的選項。
2:50.500–2:55.500
在這個選項下的模型都是壓縮版的大模型。
2:55.500–2:57.500
因為原版的大模型體積過於驅大。
2:57.500–3:01.500
所以個人電腦想要跑起來會非常的費勁。
3:01.500–3:06.500
那在這裡呢,我們就選擇這個最新的千吻3.8的AI大模型。
3:06.500–3:11.500
在這個大模型的主項下,我們找到右側這裡。
3:11.500–3:14.500
我們在這裡根據自己的設備情況。
3:14.500–3:17.500
選擇一個看起來沒有那麼嚇人的大模型。
3:17.500–3:20.500
點擊它。
3:20.500–3:21.500
點擊這裡。
3:21.500–3:23.500
我們複製這一條指令。
3:23.500–3:25.500
一會兒我們會用到它。
3:25.500–3:28.500
接下來我們找到一個合適的文件夾。
3:28.500–3:30.500
打開命令號終端。
3:30.500–3:33.500
我們先輸入這一條指令。
3:33.500–3:35.500
大家一定一定要輸入這個指令。
3:35.500–3:37.500
不然的話你在下載大模型的時候,
3:37.500–3:39.500
那個速度會非常非常的慢。
3:39.500–3:43.500
接下來將剛才複製的指令粘貼過來。
3:43.500–3:45.500
在最後呢,我們加了一些參數。
3:45.500–3:49.500
它的作用呢,是把大模型下載到當前的這個文件夾下。
3:53.500–3:55.500
可以看到它的下載速度是非常快的。
3:55.500–3:57.500
可以達到20Mbps。
3:58.500–3:59.763
稍等片刻之後呢,
3:59.763–4:04.500
我們可以看到這個千吻大模型已經成功下載到了當前這個文件夾中。
4:04.500–4:08.500
我們在命令號終端,輸入這個指令。
4:08.500–4:11.500
這裡-m的意思就是model的意思。
4:11.500–4:14.500
它會把指令的大模型加載進來。
4:20.500–4:23.500
稍等片刻之後呢,它就會加載成功。
4:24.500–4:25.500
我們打開瀏覽器。
4:25.500–4:28.500
在地址欄輸入這個地址。
4:28.500–4:30.500
可以看到這裡顯示OK。
4:30.500–4:33.500
這個表明我們的大模型已經加載成功了。
4:35.500–4:39.500
接下來我們保持這個大模型的加載頁面不變。
4:39.500–4:41.500
重新開啟一個命令號終端。
4:41.500–4:42.500
輸入下面這個指令。
4:42.500–4:44.500
啟動Deepseek Harness。
4:44.500–4:49.500
在Deepseek Harness這個頁面下呢,我們點擊左下角的設置。
4:50.500–4:52.500
點擊這裡的模型。
4:52.500–4:54.500
點擊這裡的添加自定義。
4:54.500–4:58.500
ID這裡呢,我們可以自定義一個。
4:58.500–5:00.500
比方說就叫千問。
5:00.500–5:02.500
顯示名稱這裡呢,我們也可以自定義。
5:02.500–5:04.500
比方說叫千問Local。
5:04.500–5:07.500
API地址這裡呢,要跟視頻這裡呢,保持一致。
5:07.500–5:10.500
密要這裡呢,我們隨意輸入一些內容就可以了。
5:10.500–5:12.500
比方說123-3-21。
5:12.500–5:15.500
接下來我們點擊這個獲取模型。
5:15.500–5:17.500
點擊添加。
5:17.500–5:19.500
點擊創建。
5:21.500–5:25.500
可以看到我們本地部署的千萬大模型已經添加成功了。
5:25.500–5:28.500
點擊創建。
5:28.500–5:29.500
點擊創建。
5:29.500–5:30.500
點擊創建。
5:30.500–5:31.500
點擊創建。
5:31.500–5:32.500
點擊創建。
5:32.500–5:33.500
點擊創建。
5:33.500–5:34.500
點擊創建。
5:34.500–5:35.500
點擊創建。
5:35.500–5:36.500
點擊創建。
5:36.500–5:37.500
點擊創建。
5:37.500–5:38.500
點擊創建。
5:38.500–5:39.500
點擊創建。
5:39.500–5:40.500
點擊創建。
5:40.500–5:41.500
點擊創建。
5:41.500–5:42.500
點擊創建。
5:42.500–5:43.500
點擊創建。
5:43.500–5:44.500
點擊創建。
5:44.500–5:45.500
點擊創建。
5:45.500–5:46.500
點擊創建。
5:46.500–5:47.500
點擊創建。
5:47.500–5:48.500
點擊創建。
5:48.500–5:49.500
點擊創建。
5:49.500–5:50.500
點擊創建。
5:50.500–5:51.500
點擊創建。
5:51.500–5:52.500
點擊創建。
5:52.500–5:53.500
點擊創建。
5:53.500–5:56.500
點擊創建。
5:56.500–5:57.500
點擊創建。
5:57.500–5:58.500
點擊創建。
5:58.500–5:59.500
點擊創建。
5:59.500–6:00.500
點擊創建。
6:00.500–6:01.500
點擊創建。
6:01.500–6:02.500
點擊創建。
6:02.500–6:03.500
點擊創建。
6:03.500–6:04.500
點擊創建。
6:04.500–6:05.500
點擊創建。
6:05.500–6:06.500
點擊創建。
6:06.500–6:07.500
點擊創建。
6:07.500–6:08.500
點擊創建。
6:08.500–6:09.500
點擊創建。
6:09.500–6:10.500
點擊創建。
6:10.500–6:11.500
點擊創建。
6:11.500–6:12.500
點擊創建。
6:12.500–6:13.500
點擊創建。
6:13.500–6:14.500
點擊創建。
6:14.500–6:15.500
點擊創建。
6:15.500–6:16.500
點擊創建。
6:16.500–6:17.500
點擊創建。
6:17.500–6:18.500
點擊創建。
6:18.500–6:19.500
點擊創建。
6:19.500–6:20.500
點擊創建。
6:20.500–6:21.500
點擊創建。
6:21.500–6:22.500
點擊創建。
6:22.500–6:23.500
點擊創建。
6:23.500–6:24.500
點擊創建。
6:24.500–6:25.500
點擊創建。
6:25.500–6:26.500
點擊創建。
6:26.500–6:27.500
點擊創建。
6:27.500–6:28.500
點擊創建。
6:28.500–6:29.500
點擊創建。
6:29.500–6:30.500
點擊創建。
6:30.500–6:31.500
點擊創建。
6:31.500–6:32.500
點擊創建。
6:32.500–6:33.500
點擊創建。
6:33.500–6:34.500
點擊創建。
6:34.500–6:35.500
點擊創建。
6:35.500–6:36.500
點擊創建。
6:36.500–6:37.500
點擊創建。
6:37.500–6:38.500
點擊創建。
6:38.500–6:39.500
點擊創建。
6:39.500–6:40.500
點擊創建。
6:40.500–6:41.500
點擊創建。
6:41.500–6:42.500
點擊創建。
6:42.500–6:43.500
點擊創建。
6:43.500–6:44.500
點擊創建。
6:44.500–6:45.500
點擊創建。
6:45.500–6:46.500
點擊創建。
6:46.500–6:47.500
點擊創建。
6:47.500–6:48.500
點擊創建。
6:48.500–6:49.500
點擊創建。
6:49.500–6:50.500
點擊創建。
6:50.500–6:51.500
點擊創建。
6:51.500–6:52.500
點擊創建。
6:52.500–6:53.500
點擊創建。
6:53.500–6:54.500
點擊創建。
6:54.500–6:55.500
點擊創建。
6:55.500–6:56.500
點擊創建。
6:56.500–6:57.500
點擊創建。
6:57.500–6:58.500
點擊創建。
6:58.500–6:59.500
點擊創建。
6:59.500–7:00.500
點擊創建。
7:00.500–7:01.500
點擊創建。
7:01.500–7:02.500
點擊創建。
7:02.500–7:03.500
點擊創建。
7:03.500–7:04.500
點擊創建。
7:04.500–7:05.500
點擊創建。
7:05.500–7:06.500
點擊創建。
7:06.500–7:07.500
點擊創建。
7:07.500–7:08.500
點擊創建。
7:08.500–7:09.500
點擊創建。
7:09.500–7:10.500
點擊創建。
7:10.500–7:11.500
點擊創建。
7:11.500–7:12.500
點擊創建。
7:12.500–7:13.500
點擊創建。
7:13.500–7:14.500
點擊創建。
7:14.500–7:15.500
點擊創建。
0:00.000–0:00.990
enHello,
Hello,
0:00.990–0:01.650
zh大家好。
大家好。
0:01.650–0:02.805
zh今天這個視頻,
今天這個視頻,
0:02.805–0:04.455
zh我們手把手分享一下,
我們手把手分享一下,
0:04.455–0:06.600
zh如何在本地部署AI大模型。
如何在本地部署AI大模型。
0:06.600–0:09.167
zh比方說這個最新的千問3.8模型,
比方說這個最新的千問3.8模型,
0:09.167–0:13.500
zh並且把這個大模型配置到你的DevSig Hades上面。
並且把這個大模型配置到你的DevSig Hades上面。
0:13.500–0:18.700
zh無需購買Token,你就可以免費體驗最新的AI大模型和AI智能體。
無需購買Token,你就可以免費體驗最新的AI大模型和AI智能體。
0:18.700–0:20.500
zhOK,那我們就開始吧。
OK,那我們就開始吧。
0:22.100–0:26.800
zh那麼,第一步,我們需要下載和安裝AI大模型的部署工具。
那麼,第一步,我們需要下載和安裝AI大模型的部署工具。
0:26.800–0:29.000
zh我們打開它的GitHub主頁。
我們打開它的GitHub主頁。
0:29.000–0:32.000
zh找到這裡的Release這個入口。
找到這裡的Release這個入口。
0:32.000–0:35.000
zh在這個頁面我們往下拉。
在這個頁面我們往下拉。
0:38.000–0:41.500
zh在列表裡面,我們可以看到各種版本的安裝文件。
在列表裡面,我們可以看到各種版本的安裝文件。
0:41.500–0:44.921
zh你要做的就是根據自己的操作系統進行匹配,
你要做的就是根據自己的操作系統進行匹配,
0:44.921–0:48.000
zh找到符合你操作系統的壓縮包進行下載。
找到符合你操作系統的壓縮包進行下載。
0:48.000–0:52.500
zh在這裡呢,我列了一個標格,大家可以對裝著參考一下。
在這裡呢,我列了一個標格,大家可以對裝著參考一下。
0:52.500–0:58.500
zh如果你跟我一樣,用的是英伟大的顯卡,你可以在命令行輸入下面這個指令。
如果你跟我一樣,用的是英伟大的顯卡,你可以在命令行輸入下面這個指令。
0:58.500–1:06.500
zh指令裡提供的信息顯示,我用的是CUDA 13.3這個版本。
指令裡提供的信息顯示,我用的是CUDA 13.3這個版本。
1:06.500–1:08.500
zh而我的操作系統又是Windows。
而我的操作系統又是Windows。
1:08.500–1:11.500
zh所以我在這裡就選擇這兩個壓縮包進行下載。
所以我在這裡就選擇這兩個壓縮包進行下載。
1:11.500–1:15.500
zh請大家一定要注意,這兩個壓縮包都要下載。
請大家一定要注意,這兩個壓縮包都要下載。
1:15.500–1:21.500
zh接下來我們把這兩個下載好的壓縮包放到一個合適的文件夾下。
接下來我們把這兩個下載好的壓縮包放到一個合適的文件夾下。
1:21.500–1:26.500
zh然後把這兩個壓縮包解壓之後的文件都放在同一個文件夾裡邊。
然後把這兩個壓縮包解壓之後的文件都放在同一個文件夾裡邊。
1:26.500–1:33.500
zh接下來打開開始菜單,找到編輯環境變量的這個配置項。
接下來打開開始菜單,找到編輯環境變量的這個配置項。
1:33.500–1:40.500
zh點擊這裡的環境變量。
點擊這裡的環境變量。
1:40.500–1:43.500
zh找到系統變量。
找到系統變量。
1:43.500–1:44.500
zh找到PASS。
找到PASS。
1:44.500–1:46.500
zh雙擊打開。
雙擊打開。
1:46.500–1:48.500
zh然後把這個項目的環境變量。
然後把這個項目的環境變量。
1:48.500–1:49.500
zh然後把這個項目的環境變量。
然後把這個項目的環境變量。
1:49.500–1:50.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
1:50.500–1:51.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
1:51.500–1:52.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
1:52.500–1:53.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
1:53.500–1:54.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
1:54.500–1:55.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
1:55.500–1:56.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
1:56.500–1:57.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
1:57.500–1:58.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
1:58.500–1:59.500
zh把這個項目的環境。
把這個項目的環境。
1:59.500–2:00.500
zh把這個項目的環境。
把這個項目的環境。
2:00.500–2:02.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:02.500–2:03.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:03.500–2:04.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:04.500–2:05.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:05.500–2:06.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:06.500–2:07.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:07.500–2:08.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:08.500–2:09.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:09.500–2:10.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:10.500–2:11.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:11.500–2:12.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:12.500–2:13.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:13.500–2:14.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:14.500–2:15.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:15.500–2:17.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:17.500–2:18.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:18.500–2:19.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:19.500–2:20.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:20.500–2:21.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:21.500–2:22.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:22.500–2:23.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:23.500–2:24.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:24.500–2:25.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:25.500–2:26.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:26.500–2:27.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:27.500–2:28.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:28.500–2:29.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:29.500–2:30.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:30.500–2:32.500
zh這個項目的環境變成功。
這個項目的環境變成功。
2:32.500–2:33.500
zh這個項目的環境變成功。
這個項目的環境變成功。
2:33.500–2:34.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:34.500–2:35.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:35.500–2:36.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:36.500–2:37.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:37.500–2:38.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:38.500–2:39.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:39.500–2:40.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:40.500–2:41.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:41.500–2:42.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:42.500–2:43.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:43.500–2:44.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:44.500–2:45.500
zh把這個項目的環境變成功。
把這個項目的環境變成功。
2:45.500–2:50.500
zh在項目下,我們勾選這個GGUF的選項。
在項目下,我們勾選這個GGUF的選項。
2:50.500–2:55.500
zh在這個選項下的模型都是壓縮版的大模型。
在這個選項下的模型都是壓縮版的大模型。
2:55.500–2:57.500
zh因為原版的大模型體積過於驅大。
因為原版的大模型體積過於驅大。
2:57.500–3:01.500
zh所以個人電腦想要跑起來會非常的費勁。
所以個人電腦想要跑起來會非常的費勁。
3:01.500–3:06.500
zh那在這裡呢,我們就選擇這個最新的千吻3.8的AI大模型。
那在這裡呢,我們就選擇這個最新的千吻3.8的AI大模型。
3:06.500–3:11.500
zh在這個大模型的主項下,我們找到右側這裡。
在這個大模型的主項下,我們找到右側這裡。
3:11.500–3:14.500
zh我們在這裡根據自己的設備情況。
我們在這裡根據自己的設備情況。
3:14.500–3:17.500
zh選擇一個看起來沒有那麼嚇人的大模型。
選擇一個看起來沒有那麼嚇人的大模型。
3:17.500–3:20.500
zh點擊它。
點擊它。
3:20.500–3:21.500
zh點擊這裡。
點擊這裡。
3:21.500–3:23.500
zh我們複製這一條指令。
我們複製這一條指令。
3:23.500–3:25.500
zh一會兒我們會用到它。
一會兒我們會用到它。
3:25.500–3:28.500
zh接下來我們找到一個合適的文件夾。
接下來我們找到一個合適的文件夾。
3:28.500–3:30.500
zh打開命令號終端。
打開命令號終端。
3:30.500–3:33.500
zh我們先輸入這一條指令。
我們先輸入這一條指令。
3:33.500–3:35.500
zh大家一定一定要輸入這個指令。
大家一定一定要輸入這個指令。
3:35.500–3:37.500
zh不然的話你在下載大模型的時候,
不然的話你在下載大模型的時候,
3:37.500–3:39.500
zh那個速度會非常非常的慢。
那個速度會非常非常的慢。
3:39.500–3:43.500
zh接下來將剛才複製的指令粘貼過來。
接下來將剛才複製的指令粘貼過來。
3:43.500–3:45.500
zh在最後呢,我們加了一些參數。
在最後呢,我們加了一些參數。
3:45.500–3:49.500
zh它的作用呢,是把大模型下載到當前的這個文件夾下。
它的作用呢,是把大模型下載到當前的這個文件夾下。
3:53.500–3:55.500
zh可以看到它的下載速度是非常快的。
可以看到它的下載速度是非常快的。
3:55.500–3:57.500
zh可以達到20Mbps。
可以達到20Mbps。
3:58.500–3:59.763
zh稍等片刻之後呢,
稍等片刻之後呢,
3:59.763–4:04.500
zh我們可以看到這個千吻大模型已經成功下載到了當前這個文件夾中。
我們可以看到這個千吻大模型已經成功下載到了當前這個文件夾中。
4:04.500–4:08.500
zh我們在命令號終端,輸入這個指令。
我們在命令號終端,輸入這個指令。
4:08.500–4:11.500
zh這裡-m的意思就是model的意思。
這裡-m的意思就是model的意思。
4:11.500–4:14.500
zh它會把指令的大模型加載進來。
它會把指令的大模型加載進來。
4:20.500–4:23.500
zh稍等片刻之後呢,它就會加載成功。
稍等片刻之後呢,它就會加載成功。
4:24.500–4:25.500
zh我們打開瀏覽器。
我們打開瀏覽器。
4:25.500–4:28.500
zh在地址欄輸入這個地址。
在地址欄輸入這個地址。
4:28.500–4:30.500
zh可以看到這裡顯示OK。
可以看到這裡顯示OK。
4:30.500–4:33.500
zh這個表明我們的大模型已經加載成功了。
這個表明我們的大模型已經加載成功了。
4:35.500–4:39.500
zh接下來我們保持這個大模型的加載頁面不變。
接下來我們保持這個大模型的加載頁面不變。
4:39.500–4:41.500
zh重新開啟一個命令號終端。
重新開啟一個命令號終端。
4:41.500–4:42.500
zh輸入下面這個指令。
輸入下面這個指令。
4:42.500–4:44.500
zh啟動Deepseek Harness。
啟動Deepseek Harness。
4:44.500–4:49.500
zh在Deepseek Harness這個頁面下呢,我們點擊左下角的設置。
在Deepseek Harness這個頁面下呢,我們點擊左下角的設置。
4:50.500–4:52.500
zh點擊這裡的模型。
點擊這裡的模型。
4:52.500–4:54.500
zh點擊這裡的添加自定義。
點擊這裡的添加自定義。
4:54.500–4:58.500
zhID這裡呢,我們可以自定義一個。
ID這裡呢,我們可以自定義一個。
4:58.500–5:00.500
zh比方說就叫千問。
比方說就叫千問。
5:00.500–5:02.500
zh顯示名稱這裡呢,我們也可以自定義。
顯示名稱這裡呢,我們也可以自定義。
5:02.500–5:04.500
zh比方說叫千問Local。
比方說叫千問Local。
5:04.500–5:07.500
zhAPI地址這裡呢,要跟視頻這裡呢,保持一致。
API地址這裡呢,要跟視頻這裡呢,保持一致。
5:07.500–5:10.500
zh密要這裡呢,我們隨意輸入一些內容就可以了。
密要這裡呢,我們隨意輸入一些內容就可以了。
5:10.500–5:12.500
zh比方說123-3-21。
比方說123-3-21。
5:12.500–5:15.500
zh接下來我們點擊這個獲取模型。
接下來我們點擊這個獲取模型。
5:15.500–5:17.500
zh點擊添加。
點擊添加。
5:17.500–5:19.500
zh點擊創建。
點擊創建。
5:21.500–5:25.500
zh可以看到我們本地部署的千萬大模型已經添加成功了。
可以看到我們本地部署的千萬大模型已經添加成功了。
5:25.500–5:28.500
zh點擊創建。
點擊創建。
5:28.500–5:29.500
zh點擊創建。
點擊創建。
5:29.500–5:30.500
zh點擊創建。
點擊創建。
5:30.500–5:31.500
zh點擊創建。
點擊創建。
5:31.500–5:32.500
zh點擊創建。
點擊創建。
5:32.500–5:33.500
zh點擊創建。
點擊創建。
5:33.500–5:34.500
zh點擊創建。
點擊創建。
5:34.500–5:35.500
zh點擊創建。
點擊創建。
5:35.500–5:36.500
zh點擊創建。
點擊創建。
5:36.500–5:37.500
zh點擊創建。
點擊創建。
5:37.500–5:38.500
zh點擊創建。
點擊創建。
5:38.500–5:39.500
zh點擊創建。
點擊創建。
5:39.500–5:40.500
zh點擊創建。
點擊創建。
5:40.500–5:41.500
zh點擊創建。
點擊創建。
5:41.500–5:42.500
zh點擊創建。
點擊創建。
5:42.500–5:43.500
zh點擊創建。
點擊創建。
5:43.500–5:44.500
zh點擊創建。
點擊創建。
5:44.500–5:45.500
zh點擊創建。
點擊創建。
5:45.500–5:46.500
zh點擊創建。
點擊創建。
5:46.500–5:47.500
zh點擊創建。
點擊創建。
5:47.500–5:48.500
zh點擊創建。
點擊創建。
5:48.500–5:49.500
zh點擊創建。
點擊創建。
5:49.500–5:50.500
zh點擊創建。
點擊創建。
5:50.500–5:51.500
zh點擊創建。
點擊創建。
5:51.500–5:52.500
zh點擊創建。
點擊創建。
5:52.500–5:53.500
zh點擊創建。
點擊創建。
5:53.500–5:56.500
zh點擊創建。
點擊創建。
5:56.500–5:57.500
zh點擊創建。
點擊創建。
5:57.500–5:58.500
zh點擊創建。
點擊創建。
5:58.500–5:59.500
zh點擊創建。
點擊創建。
5:59.500–6:00.500
zh點擊創建。
點擊創建。
6:00.500–6:01.500
zh點擊創建。
點擊創建。
6:01.500–6:02.500
zh點擊創建。
點擊創建。
6:02.500–6:03.500
zh點擊創建。
點擊創建。
6:03.500–6:04.500
zh點擊創建。
點擊創建。
6:04.500–6:05.500
zh點擊創建。
點擊創建。
6:05.500–6:06.500
zh點擊創建。
點擊創建。
6:06.500–6:07.500
zh點擊創建。
點擊創建。
6:07.500–6:08.500
zh點擊創建。
點擊創建。
6:08.500–6:09.500
zh點擊創建。
點擊創建。
6:09.500–6:10.500
zh點擊創建。
點擊創建。
6:10.500–6:11.500
zh點擊創建。
點擊創建。
6:11.500–6:12.500
zh點擊創建。
點擊創建。
6:12.500–6:13.500
zh點擊創建。
點擊創建。
6:13.500–6:14.500
zh點擊創建。
點擊創建。
6:14.500–6:15.500
zh點擊創建。
點擊創建。
6:15.500–6:16.500
zh點擊創建。
點擊創建。
6:16.500–6:17.500
zh點擊創建。
點擊創建。
6:17.500–6:18.500
zh點擊創建。
點擊創建。
6:18.500–6:19.500
zh點擊創建。
點擊創建。
6:19.500–6:20.500
zh點擊創建。
點擊創建。
6:20.500–6:21.500
zh點擊創建。
點擊創建。
6:21.500–6:22.500
zh點擊創建。
點擊創建。
6:22.500–6:23.500
zh點擊創建。
點擊創建。
6:23.500–6:24.500
zh點擊創建。
點擊創建。
6:24.500–6:25.500
zh點擊創建。
點擊創建。
6:25.500–6:26.500
zh點擊創建。
點擊創建。
6:26.500–6:27.500
zh點擊創建。
點擊創建。
6:27.500–6:28.500
zh點擊創建。
點擊創建。
6:28.500–6:29.500
zh點擊創建。
點擊創建。
6:29.500–6:30.500
zh點擊創建。
點擊創建。
6:30.500–6:31.500
zh點擊創建。
點擊創建。
6:31.500–6:32.500
zh點擊創建。
點擊創建。
6:32.500–6:33.500
zh點擊創建。
點擊創建。
6:33.500–6:34.500
zh點擊創建。
點擊創建。
6:34.500–6:35.500
zh點擊創建。
點擊創建。
6:35.500–6:36.500
zh點擊創建。
點擊創建。
6:36.500–6:37.500
zh點擊創建。
點擊創建。
6:37.500–6:38.500
zh點擊創建。
點擊創建。
6:38.500–6:39.500
zh點擊創建。
點擊創建。
6:39.500–6:40.500
zh點擊創建。
點擊創建。
6:40.500–6:41.500
zh點擊創建。
點擊創建。
6:41.500–6:42.500
zh點擊創建。
點擊創建。
6:42.500–6:43.500
zh點擊創建。
點擊創建。
6:43.500–6:44.500
zh點擊創建。
點擊創建。
6:44.500–6:45.500
zh點擊創建。
點擊創建。
6:45.500–6:46.500
zh點擊創建。
點擊創建。
6:46.500–6:47.500
zh點擊創建。
點擊創建。
6:47.500–6:48.500
zh點擊創建。
點擊創建。
6:48.500–6:49.500
zh點擊創建。
點擊創建。
6:49.500–6:50.500
zh點擊創建。
點擊創建。
6:50.500–6:51.500
zh點擊創建。
點擊創建。
6:51.500–6:52.500
zh點擊創建。
點擊創建。
6:52.500–6:53.500
zh點擊創建。
點擊創建。
6:53.500–6:54.500
zh點擊創建。
點擊創建。
6:54.500–6:55.500
zh點擊創建。
點擊創建。
6:55.500–6:56.500
zh點擊創建。
點擊創建。
6:56.500–6:57.500
zh點擊創建。
點擊創建。
6:57.500–6:58.500
zh點擊創建。
點擊創建。
6:58.500–6:59.500
zh點擊創建。
點擊創建。
6:59.500–7:00.500
zh點擊創建。
點擊創建。
7:00.500–7:01.500
zh點擊創建。
點擊創建。
7:01.500–7:02.500
zh點擊創建。
點擊創建。
7:02.500–7:03.500
zh點擊創建。
點擊創建。
7:03.500–7:04.500
zh點擊創建。
點擊創建。
7:04.500–7:05.500
zh點擊創建。
點擊創建。
7:05.500–7:06.500
zh點擊創建。
點擊創建。
7:06.500–7:07.500
zh點擊創建。
點擊創建。
7:07.500–7:08.500
zh點擊創建。
點擊創建。
7:08.500–7:09.500
zh點擊創建。
點擊創建。
7:09.500–7:10.500
zh點擊創建。
點擊創建。
7:10.500–7:11.500
zh點擊創建。
點擊創建。
7:11.500–7:12.500
zh點擊創建。
點擊創建。
7:12.500–7:13.500
zh點擊創建。
點擊創建。
7:13.500–7:14.500
zh點擊創建。
點擊創建。
7:14.500–7:15.500
zh點擊創建。
點擊創建。
影片筆記:不用买Token!手把手教你部署千问3.8,免费接入DeepSeek Harness|AI大模型本地运行教程
<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->
⚠️ 可先使用,仍有待修正項目
本筆記已完成可閱讀的逐字稿與時間跳轉;下列為待處理問題,建議播放原片確認。
- 待修正:逐字稿全文快速校讀未完成(已保留自動字幕/原始逐字稿並繼續生成筆記。;未完成的全文速讀項目可在精進模式回聽確認。)
- 待修正:逐字稿可先使用,但有待校正清單(segment=30 adjacent_duplicate: 與前一段完全重複,可能是滾動字幕或 ASR 重複;segment=32 adjacent_duplicate: 與前一段完全重複,可能是滾動字幕或 ASR 重複)
<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->
一句話總結
影片演示如何在本地電腦部署「千問 3.8」大模型,並透過配置環境變量與命令行工具,將其接入 DeepSeek Harness(或稱 DevSig Hades),實現免費本地運行 AI 智能體,無需購買 Token。
核心重點
- 本地部署優勢:強調無需購買 Token,即可在本地電腦運行最新 AI 大模型與智能體。
- 關鍵步驟:
- 從 GitHub Release 頁面下載對應操作系統(Windows)與顯卡驅動(CUDA 13.3)的部署工具壓縮包。
- 配置系統環境變量(PATH),將工具路徑加入其中。
- 下載 GGUF 格式的壓縮版模型(千問 3.8)。
- 使用命令行加載模型並啟動服務。
- 在 DeepSeek Harness 中創建自定義模型連接,填入 API 地址與密鑰。
詳細大綱
1. 前言與目標
- 介紹如何在本地部署 AI 大模型(以千問 3.8 為例)。
- 將模型配置到 DevSig Hades / Deepseek Harness。
- 核心賣點:免費體驗最新 AI 大模型和智能體,無需購買 Token。
2. 第一步:下載與安裝部署工具
- 訪問 GitHub 主頁,進入 Release 頁面。
- 根據操作系統(Windows)和顯卡驅動版本(CUDA 13.3)下載對應的壓縮包。
- 注意:必須下載兩個壓縮包,並解壓至同一文件夾。
3. 第二步:配置環境變量
- 打開開始菜單,進入「編輯環境變量」。
- 在系統變量中找到
PATH(逐字稿聽寫為 PASS)。
- 將項目路徑添加到環境變量中(此步驟在逐字稿中有大量重複口語)。
4. 第三步:下載與加載大模型
- 在項目中勾選 GGUF 選項(壓縮版模型,適合個人電腦)。
- 選擇「千問 3.8」模型。
- 複製下載指令,在命令號終端(Command Terminal)中執行。
- 添加參數將模型下載至當前文件夾(速度可達 20Mbps)。
- 使用
-m 參數加載大模型。
5. 第四步:驗證服務與配置 Deepseek Harness
- 驗證服務:打開瀏覽器,輸入地址確認服務顯示「OK」,表示模型加載成功。
- 啟動工具:重新開啟命令號終端,輸入指令啟動 Deepseek Harness。
- 配置連接:
- 在 Deepseek Harness 頁面點擊左下角「設置」->「模型」->「添加自定義」。
- 填寫配置資訊:
- ID:自定義(如「千問」)。
- 顯示名稱:自定義(如「千問 Local」)。
- API 地址:與視頻中顯示的地址保持一致。
- 密要(Key):隨意輸入(如 123-3-21)。
- 點擊「獲取模型」、「添加」、「創建」,完成本地模型添加。
工具 / 模型 / 名詞整理
- 模型名稱:千問 3.8(逐字稿中亦出現「千吻 3.8」、「千萬大模型」等聽寫變體)
- 部署/運行工具:
- GitHub(Release 頁面)
- 命令號終端(Command Terminal)
- Deepseek Harness(逐字稿中亦稱為 DevSig Hades)
- 技術規格/格式:
- CUDA 13.3
- Windows
- GGUF(壓縮版大模型格式)
- Token(提及無需購買)
操作流程整理
- 準備環境:確認電腦為 Windows 系統,並檢查顯卡驅動版本是否為 CUDA 13.3。
- 下載工具:前往 GitHub Release 頁面,下載兩個壓縮包並解壓至同一資料夾。
- 設定路徑:進入系統環境變量編輯頁面,將工具路徑加入
PATH(或 PASS)變量中。
- 下載模型:
- 勾選 GGUF 格式。
- 選擇千問 3.8。
- 複製指令至命令號終端執行下載。
- 使用
-m 參數加載模型。
- 啟動服務:
- 瀏覽器訪問指定地址,確認顯示「OK」。
- 在終端中輸入指令啟動 Deepseek Harness。
- 建立連接:
- 進入 Deepseek Harness 設置 -> 模型 -> 添加自定義。
- 輸入自定義 ID、顯示名稱、API 地址及密要(Key)。
- 點擊獲取模型並創建,完成部署。
值得注意的限制或風險
- 硬體要求:需確認顯卡驅動版本為 CUDA 13.3,且電腦需具備足夠資源運行 GGUF 格式的壓縮模型。
- 工具名稱不確定:影片中介紹的工具在逐字稿中交替出現「DevSig Hades」與「Deepseek Harness」,實際軟件名稱需查證,可能影響後續搜尋或下載。
- 環境變量名稱:影片口語中將環境變量稱為「PASS」,實際系統中應為「PATH」,若嚴格照字面輸入可能導致配置失敗。
- 重複語句干擾:逐字稿中關於環境變量配置及創建步驟有大量重複語句,操作時需忽略重複部分,專注於關鍵動作。
逐字稿辨識疑點
- DevSig Hades / Deepseek Harness:逐字稿開頭稱為「DevSig Hades」,後續稱為「Deepseek Harness」,兩者指代同一個啟動後的頁面或工具,需查證實際軟件名稱。
- 千問 3.8 / 千吻 3.8 / 千萬大模型:模型名稱在逐字稿中多次變換,疑似聽寫錯誤,實際模型名稱需查證。
- PASS:環境變量中提到的變量名稱為「PASS」,通常環境變量為「PATH」,此處為疑似錯字。
- 英伟大顯卡:形容詞「英伟大」疑似聽寫錯誤,可能指代 NVIDIA(英偉達)顯卡,但需查證。
- 驅大:形容模型體積時使用「驅大」,疑似為「巨大」的聽寫錯誤。
- 密要:配置 API 時提到的欄位名稱為「密要」,通常應為「密鑰」或「Key」。
- 命令號終端:對 Terminal 的稱呼,通常稱為「命令提示字元」或「終端機」。
- 重複語句:逐字稿中「把這個項目的環境變成功」及後續的「點擊創建」出現大量重複,為錄音或轉錄時的口誤/重複。
- Segment 重複問題:根據可讀性檢核,Segment 30-39, 41, 43-44 均標記為
adjacent_duplicate(與前一段完全重複),這可能是滾動字幕或 ASR 重複造成的辨識問題,上述筆記已嘗試整合核心資訊,但請留意原始逐字稿中這些段落可能存在大量無意義重複。
可延伸追問
- 實際的軟件名稱究竟是 DevSig Hades 還是 Deepseek Harness?
- 千問 3.8 的準確模型名稱為何?是否為 Qwen 2.5 或其他版本?
- CUDA 13.3 是否為筆誤,常見版本是否為 CUDA 11.x 或 12.x?
- GGUF 格式在本地部署中的具體優勢與限制為何?
- 若瀏覽器訪問地址不顯示「OK」,常見的除錯步驟為何?
尚未產生學習筆記
請在 Telegram 指令最後加上「學習」,例如:videonote 網址 英文 雙語 學習