WEBVTT

00:00.000 --> 00:06.600
Hello,大家好。今天這個視頻,我們手把手分享一下,如何在本地部署AI大模型。

00:06.600 --> 00:13.500
比方說這個最新的千問3.8模型,並且把這個大模型配置到你的DevSig Hades上面。

00:13.500 --> 00:18.700
無需購買Token,你就可以免費體驗最新的AI大模型和AI智能體。

00:18.700 --> 00:20.500
OK,那我們就開始吧。

00:22.100 --> 00:26.800
那麼,第一步,我們需要下載和安裝AI大模型的部署工具。

00:26.800 --> 00:29.000
我們打開它的GitHub主頁。

00:29.000 --> 00:32.000
找到這裡的Release這個入口。

00:32.000 --> 00:35.000
在這個頁面我們往下拉。

00:38.000 --> 00:41.500
在列表裡面,我們可以看到各種版本的安裝文件。

00:41.500 --> 00:48.000
你要做的就是根據自己的操作系統進行匹配,找到符合你操作系統的壓縮包進行下載。

00:48.000 --> 00:52.500
在這裡呢,我列了一個標格,大家可以對裝著參考一下。

00:52.500 --> 00:58.500
如果你跟我一樣,用的是英伟大的顯卡,你可以在命令行輸入下面這個指令。

00:58.500 --> 01:06.500
指令裡提供的信息顯示,我用的是CUDA 13.3這個版本。

01:06.500 --> 01:08.500
而我的操作系統又是Windows。

01:08.500 --> 01:11.500
所以我在這裡就選擇這兩個壓縮包進行下載。

01:11.500 --> 01:15.500
請大家一定要注意,這兩個壓縮包都要下載。

01:15.500 --> 01:21.500
接下來我們把這兩個下載好的壓縮包放到一個合適的文件夾下。

01:21.500 --> 01:26.500
然後把這兩個壓縮包解壓之後的文件都放在同一個文件夾裡邊。

01:26.500 --> 01:33.500
接下來打開開始菜單,找到編輯環境變量的這個配置項。

01:33.500 --> 01:40.500
點擊這裡的環境變量。

01:40.500 --> 01:43.500
找到系統變量。

01:43.500 --> 01:44.500
找到PASS。

01:44.500 --> 01:46.500
雙擊打開。

01:46.500 --> 01:48.500
然後把這個項目的環境變量。

01:48.500 --> 01:49.500
然後把這個項目的環境變量。

01:49.500 --> 01:50.500
把這個項目的環境變成功。

01:50.500 --> 01:51.500
把這個項目的環境變成功。

01:51.500 --> 01:52.500
把這個項目的環境變成功。

01:52.500 --> 01:53.500
把這個項目的環境變成功。

01:53.500 --> 01:54.500
把這個項目的環境變成功。

01:54.500 --> 01:55.500
把這個項目的環境變成功。

01:55.500 --> 01:56.500
把這個項目的環境變成功。

01:56.500 --> 01:57.500
把這個項目的環境變成功。

01:57.500 --> 01:58.500
把這個項目的環境變成功。

01:58.500 --> 01:59.500
把這個項目的環境。

01:59.500 --> 02:00.500
把這個項目的環境。

02:00.500 --> 02:02.500
把這個項目的環境變成功。

02:02.500 --> 02:03.500
把這個項目的環境變成功。

02:03.500 --> 02:04.500
把這個項目的環境變成功。

02:04.500 --> 02:05.500
把這個項目的環境變成功。

02:05.500 --> 02:06.500
把這個項目的環境變成功。

02:06.500 --> 02:07.500
把這個項目的環境變成功。

02:07.500 --> 02:08.500
把這個項目的環境變成功。

02:08.500 --> 02:09.500
把這個項目的環境變成功。

02:09.500 --> 02:10.500
把這個項目的環境變成功。

02:10.500 --> 02:11.500
把這個項目的環境變成功。

02:11.500 --> 02:12.500
把這個項目的環境變成功。

02:12.500 --> 02:13.500
把這個項目的環境變成功。

02:13.500 --> 02:14.500
把這個項目的環境變成功。

02:14.500 --> 02:15.500
把這個項目的環境變成功。

02:15.500 --> 02:17.500
把這個項目的環境變成功。

02:17.500 --> 02:18.500
把這個項目的環境變成功。

02:18.500 --> 02:19.500
把這個項目的環境變成功。

02:19.500 --> 02:20.500
把這個項目的環境變成功。

02:20.500 --> 02:21.500
把這個項目的環境變成功。

02:21.500 --> 02:22.500
把這個項目的環境變成功。

02:22.500 --> 02:23.500
把這個項目的環境變成功。

02:23.500 --> 02:24.500
把這個項目的環境變成功。

02:24.500 --> 02:25.500
把這個項目的環境變成功。

02:25.500 --> 02:26.500
把這個項目的環境變成功。

02:26.500 --> 02:27.500
把這個項目的環境變成功。

02:27.500 --> 02:28.500
把這個項目的環境變成功。

02:28.500 --> 02:29.500
把這個項目的環境變成功。

02:29.500 --> 02:30.500
把這個項目的環境變成功。

02:30.500 --> 02:32.500
這個項目的環境變成功。

02:32.500 --> 02:33.500
這個項目的環境變成功。

02:33.500 --> 02:34.500
把這個項目的環境變成功。

02:34.500 --> 02:35.500
把這個項目的環境變成功。

02:35.500 --> 02:36.500
把這個項目的環境變成功。

02:36.500 --> 02:37.500
把這個項目的環境變成功。

02:37.500 --> 02:38.500
把這個項目的環境變成功。

02:38.500 --> 02:39.500
把這個項目的環境變成功。

02:39.500 --> 02:40.500
把這個項目的環境變成功。

02:40.500 --> 02:41.500
把這個項目的環境變成功。

02:41.500 --> 02:42.500
把這個項目的環境變成功。

02:42.500 --> 02:43.500
把這個項目的環境變成功。

02:43.500 --> 02:44.500
把這個項目的環境變成功。

02:44.500 --> 02:45.500
把這個項目的環境變成功。

02:45.500 --> 02:50.500
在項目下,我們勾選這個GGUF的選項。

02:50.500 --> 02:55.500
在這個選項下的模型都是壓縮版的大模型。

02:55.500 --> 02:57.500
因為原版的大模型體積過於驅大。

02:57.500 --> 03:01.500
所以個人電腦想要跑起來會非常的費勁。

03:01.500 --> 03:06.500
那在這裡呢,我們就選擇這個最新的千吻3.8的AI大模型。

03:06.500 --> 03:11.500
在這個大模型的主項下,我們找到右側這裡。

03:11.500 --> 03:14.500
我們在這裡根據自己的設備情況。

03:14.500 --> 03:17.500
選擇一個看起來沒有那麼嚇人的大模型。

03:17.500 --> 03:20.500
點擊它。

03:20.500 --> 03:21.500
點擊這裡。

03:21.500 --> 03:23.500
我們複製這一條指令。

03:23.500 --> 03:25.500
一會兒我們會用到它。

03:25.500 --> 03:28.500
接下來我們找到一個合適的文件夾。

03:28.500 --> 03:30.500
打開命令號終端。

03:30.500 --> 03:33.500
我們先輸入這一條指令。

03:33.500 --> 03:35.500
大家一定一定要輸入這個指令。

03:35.500 --> 03:37.500
不然的話你在下載大模型的時候,

03:37.500 --> 03:39.500
那個速度會非常非常的慢。

03:39.500 --> 03:43.500
接下來將剛才複製的指令粘貼過來。

03:43.500 --> 03:45.500
在最後呢,我們加了一些參數。

03:45.500 --> 03:49.500
它的作用呢,是把大模型下載到當前的這個文件夾下。

03:53.500 --> 03:55.500
可以看到它的下載速度是非常快的。

03:55.500 --> 03:57.500
可以達到20Mbps。

03:58.500 --> 04:04.500
稍等片刻之後呢,我們可以看到這個千吻大模型已經成功下載到了當前這個文件夾中。

04:04.500 --> 04:08.500
我們在命令號終端,輸入這個指令。

04:08.500 --> 04:11.500
這裡-m的意思就是model的意思。

04:11.500 --> 04:14.500
它會把指令的大模型加載進來。

04:20.500 --> 04:23.500
稍等片刻之後呢,它就會加載成功。

04:24.500 --> 04:25.500
我們打開瀏覽器。

04:25.500 --> 04:28.500
在地址欄輸入這個地址。

04:28.500 --> 04:30.500
可以看到這裡顯示OK。

04:30.500 --> 04:33.500
這個表明我們的大模型已經加載成功了。

04:35.500 --> 04:39.500
接下來我們保持這個大模型的加載頁面不變。

04:39.500 --> 04:41.500
重新開啟一個命令號終端。

04:41.500 --> 04:42.500
輸入下面這個指令。

04:42.500 --> 04:44.500
啟動Deepseek Harness。

04:44.500 --> 04:49.500
在Deepseek Harness這個頁面下呢,我們點擊左下角的設置。

04:50.500 --> 04:52.500
點擊這裡的模型。

04:52.500 --> 04:54.500
點擊這裡的添加自定義。

04:54.500 --> 04:58.500
ID這裡呢,我們可以自定義一個。

04:58.500 --> 05:00.500
比方說就叫千問。

05:00.500 --> 05:02.500
顯示名稱這裡呢,我們也可以自定義。

05:02.500 --> 05:04.500
比方說叫千問Local。

05:04.500 --> 05:07.500
API地址這裡呢,要跟視頻這裡呢,保持一致。

05:07.500 --> 05:10.500
密要這裡呢,我們隨意輸入一些內容就可以了。

05:10.500 --> 05:12.500
比方說123-3-21。

05:12.500 --> 05:15.500
接下來我們點擊這個獲取模型。

05:15.500 --> 05:17.500
點擊添加。

05:17.500 --> 05:19.500
點擊創建。

05:21.500 --> 05:25.500
可以看到我們本地部署的千萬大模型已經添加成功了。

05:25.500 --> 05:28.500
點擊創建。

05:28.500 --> 05:29.500
點擊創建。

05:29.500 --> 05:30.500
點擊創建。

05:30.500 --> 05:31.500
點擊創建。

05:31.500 --> 05:32.500
點擊創建。

05:32.500 --> 05:33.500
點擊創建。

05:33.500 --> 05:34.500
點擊創建。

05:34.500 --> 05:35.500
點擊創建。

05:35.500 --> 05:36.500
點擊創建。

05:36.500 --> 05:37.500
點擊創建。

05:37.500 --> 05:38.500
點擊創建。

05:38.500 --> 05:39.500
點擊創建。

05:39.500 --> 05:40.500
點擊創建。

05:40.500 --> 05:41.500
點擊創建。

05:41.500 --> 05:42.500
點擊創建。

05:42.500 --> 05:43.500
點擊創建。

05:43.500 --> 05:44.500
點擊創建。

05:44.500 --> 05:45.500
點擊創建。

05:45.500 --> 05:46.500
點擊創建。

05:46.500 --> 05:47.500
點擊創建。

05:47.500 --> 05:48.500
點擊創建。

05:48.500 --> 05:49.500
點擊創建。

05:49.500 --> 05:50.500
點擊創建。

05:50.500 --> 05:51.500
點擊創建。

05:51.500 --> 05:52.500
點擊創建。

05:52.500 --> 05:53.500
點擊創建。

05:53.500 --> 05:56.500
點擊創建。

05:56.500 --> 05:57.500
點擊創建。

05:57.500 --> 05:58.500
點擊創建。

05:58.500 --> 05:59.500
點擊創建。

05:59.500 --> 06:00.500
點擊創建。

06:00.500 --> 06:01.500
點擊創建。

06:01.500 --> 06:02.500
點擊創建。

06:02.500 --> 06:03.500
點擊創建。

06:03.500 --> 06:04.500
點擊創建。

06:04.500 --> 06:05.500
點擊創建。

06:05.500 --> 06:06.500
點擊創建。

06:06.500 --> 06:07.500
點擊創建。

06:07.500 --> 06:08.500
點擊創建。

06:08.500 --> 06:09.500
點擊創建。

06:09.500 --> 06:10.500
點擊創建。

06:10.500 --> 06:11.500
點擊創建。

06:11.500 --> 06:12.500
點擊創建。

06:12.500 --> 06:13.500
點擊創建。

06:13.500 --> 06:14.500
點擊創建。

06:14.500 --> 06:15.500
點擊創建。

06:15.500 --> 06:16.500
點擊創建。

06:16.500 --> 06:17.500
點擊創建。

06:17.500 --> 06:18.500
點擊創建。

06:18.500 --> 06:19.500
點擊創建。

06:19.500 --> 06:20.500
點擊創建。

06:20.500 --> 06:21.500
點擊創建。

06:21.500 --> 06:22.500
點擊創建。

06:22.500 --> 06:23.500
點擊創建。

06:23.500 --> 06:24.500
點擊創建。

06:24.500 --> 06:25.500
點擊創建。

06:25.500 --> 06:26.500
點擊創建。

06:26.500 --> 06:27.500
點擊創建。

06:27.500 --> 06:28.500
點擊創建。

06:28.500 --> 06:29.500
點擊創建。

06:29.500 --> 06:30.500
點擊創建。

06:30.500 --> 06:31.500
點擊創建。

06:31.500 --> 06:32.500
點擊創建。

06:32.500 --> 06:33.500
點擊創建。

06:33.500 --> 06:34.500
點擊創建。

06:34.500 --> 06:35.500
點擊創建。

06:35.500 --> 06:36.500
點擊創建。

06:36.500 --> 06:37.500
點擊創建。

06:37.500 --> 06:38.500
點擊創建。

06:38.500 --> 06:39.500
點擊創建。

06:39.500 --> 06:40.500
點擊創建。

06:40.500 --> 06:41.500
點擊創建。

06:41.500 --> 06:42.500
點擊創建。

06:42.500 --> 06:43.500
點擊創建。

06:43.500 --> 06:44.500
點擊創建。

06:44.500 --> 06:45.500
點擊創建。

06:45.500 --> 06:46.500
點擊創建。

06:46.500 --> 06:47.500
點擊創建。

06:47.500 --> 06:48.500
點擊創建。

06:48.500 --> 06:49.500
點擊創建。

06:49.500 --> 06:50.500
點擊創建。

06:50.500 --> 06:51.500
點擊創建。

06:51.500 --> 06:52.500
點擊創建。

06:52.500 --> 06:53.500
點擊創建。

06:53.500 --> 06:54.500
點擊創建。

06:54.500 --> 06:55.500
點擊創建。

06:55.500 --> 06:56.500
點擊創建。

06:56.500 --> 06:57.500
點擊創建。

06:57.500 --> 06:58.500
點擊創建。

06:58.500 --> 06:59.500
點擊創建。

06:59.500 --> 07:00.500
點擊創建。

07:00.500 --> 07:01.500
點擊創建。

07:01.500 --> 07:02.500
點擊創建。

07:02.500 --> 07:03.500
點擊創建。

07:03.500 --> 07:04.500
點擊創建。

07:04.500 --> 07:05.500
點擊創建。

07:05.500 --> 07:06.500
點擊創建。

07:06.500 --> 07:07.500
點擊創建。

07:07.500 --> 07:08.500
點擊創建。

07:08.500 --> 07:09.500
點擊創建。

07:09.500 --> 07:10.500
點擊創建。

07:10.500 --> 07:11.500
點擊創建。

07:11.500 --> 07:12.500
點擊創建。

07:12.500 --> 07:13.500
點擊創建。

07:13.500 --> 07:14.500
點擊創建。

07:14.500 --> 07:15.500
點擊創建。

07:15.500 --> 07:16.500
點擊創建。

07:16.500 --> 07:17.500
點擊創建。

07:17.500 --> 07:18.500
點擊創建。

07:18.500 --> 07:19.500
點擊創建。

07:19.500 --> 07:20.500
點擊創建。