Hello,大家好。今天這個視頻,我們手把手分享一下,如何在本地部署AI大模型。
比方說這個最新的千問3.8模型,並且把這個大模型配置到你的DevSig Hades上面。
無需購買Token,你就可以免費體驗最新的AI大模型和AI智能體。
OK,那我們就開始吧。
那麼,第一步,我們需要下載和安裝AI大模型的部署工具。
我們打開它的GitHub主頁。
找到這裡的Release這個入口。
在這個頁面我們往下拉。
在列表裡面,我們可以看到各種版本的安裝文件。
你要做的就是根據自己的操作系統進行匹配,找到符合你操作系統的壓縮包進行下載。
在這裡呢,我列了一個標格,大家可以對裝著參考一下。
如果你跟我一樣,用的是英伟大的顯卡,你可以在命令行輸入下面這個指令。
指令裡提供的信息顯示,我用的是CUDA 13.3這個版本。
而我的操作系統又是Windows。
所以我在這裡就選擇這兩個壓縮包進行下載。
請大家一定要注意,這兩個壓縮包都要下載。
接下來我們把這兩個下載好的壓縮包放到一個合適的文件夾下。
然後把這兩個壓縮包解壓之後的文件都放在同一個文件夾裡邊。
接下來打開開始菜單,找到編輯環境變量的這個配置項。
點擊這裡的環境變量。
找到系統變量。
找到PASS。
雙擊打開。
然後把這個項目的環境變量。
然後把這個項目的環境變量。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境。
把這個項目的環境。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
這個項目的環境變成功。
這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
把這個項目的環境變成功。
在項目下,我們勾選這個GGUF的選項。
在這個選項下的模型都是壓縮版的大模型。
因為原版的大模型體積過於驅大。
所以個人電腦想要跑起來會非常的費勁。
那在這裡呢,我們就選擇這個最新的千吻3.8的AI大模型。
在這個大模型的主項下,我們找到右側這裡。
我們在這裡根據自己的設備情況。
選擇一個看起來沒有那麼嚇人的大模型。
點擊它。
點擊這裡。
我們複製這一條指令。
一會兒我們會用到它。
接下來我們找到一個合適的文件夾。
打開命令號終端。
我們先輸入這一條指令。
大家一定一定要輸入這個指令。
不然的話你在下載大模型的時候,
那個速度會非常非常的慢。
接下來將剛才複製的指令粘貼過來。
在最後呢,我們加了一些參數。
它的作用呢,是把大模型下載到當前的這個文件夾下。
可以看到它的下載速度是非常快的。
可以達到20Mbps。
稍等片刻之後呢,我們可以看到這個千吻大模型已經成功下載到了當前這個文件夾中。
我們在命令號終端,輸入這個指令。
這裡-m的意思就是model的意思。
它會把指令的大模型加載進來。
稍等片刻之後呢,它就會加載成功。
我們打開瀏覽器。
在地址欄輸入這個地址。
可以看到這裡顯示OK。
這個表明我們的大模型已經加載成功了。
接下來我們保持這個大模型的加載頁面不變。
重新開啟一個命令號終端。
輸入下面這個指令。
啟動Deepseek Harness。
在Deepseek Harness這個頁面下呢,我們點擊左下角的設置。
點擊這裡的模型。
點擊這裡的添加自定義。
ID這裡呢,我們可以自定義一個。
比方說就叫千問。
顯示名稱這裡呢,我們也可以自定義。
比方說叫千問Local。
API地址這裡呢,要跟視頻這裡呢,保持一致。
密要這裡呢,我們隨意輸入一些內容就可以了。
比方說123-3-21。
接下來我們點擊這個獲取模型。
點擊添加。
點擊創建。
可以看到我們本地部署的千萬大模型已經添加成功了。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。
點擊創建。