WEBVTT

00:00.000 --> 00:29.980
本地大模型到底能不能打?你看哈,我的這個文件夾有70多個文件。非常的凌亂,在Deepseek Harness裡面,我送出了提示詞。不一會兒,四個文件夾建好了,文件全部歸類整齊,還生成了一份整理報告。從我發出命令到結束全部的任務,我沒有碰過一次鍵盤。這個就是千萬3.827B,這個部署在我電腦本地的大模型。和Deepseek Harness配合起來的效果,都是本地哈,網線你都不用插,純純的國內生態,零費用。所以說,到底本地大模型是否有一個大模型?

00:29.980 --> 00:40.280
能不能幹活?我們的電腦帶不帶的動?本地模型能幹哪些事?不著急哈,今天都給你答案。又是手把手的教程,點好收藏與關注,我們這就發車。

00:43.600 --> 00:56.100
你如果用Codex,Code,Code,這些雲端Agent就繞不開幾個問題。價格高,本地讀寫麻煩,隱私不能被保護,還可能被封號。而千萬呢,剛剛推出了3.827B,這個本地大模型。

00:56.100 --> 01:03.600
但是直接跑在你的電腦上的,上面所有的問題就解決了。雲端大模型呢,咱們只能租用,本地的才是完全屬於你。

01:03.600 --> 01:11.680
不過本地模型啊,吃硬件,對於普通人來說呢,安裝還有門檻。速度和智力呢,肯定也比雲端的主流模型可能要弱一點。

01:11.680 --> 01:14.780
那今天咱們就來看一下哈,這套組合到底能不能打?

01:14.780 --> 01:20.100
今天內容有點長啊,而且呢,建議有時間的時候慢慢看,最好是一步一步的跟著做。

01:20.100 --> 01:22.100
咱第一步呢,需要下載模型。

01:26.100 --> 01:30.600
我們打開摩搭社區,都不用搜哈,在主頁上就能看到千萬3.8了。

01:30.600 --> 01:33.600
如果沒有的話呢,你也可以點這個放大鏡,直接搜的到。

01:33.600 --> 01:37.600
這個呢,你可以理解為是原廠原裝的模型,大概有50多G。

01:37.600 --> 01:41.600
所以硬件的要求啊,特別的高,咱普通的家用電腦,咱就不要想了。

01:41.600 --> 01:46.600
不過呢,社區的大神多哈,下面能看到一個後墜GGUF的。

01:46.600 --> 01:52.100
這個GGUF呢,是大模型的一種壓縮包裝格式,類似於像音樂文件一樣的。

01:52.100 --> 01:56.100
官方的50G的版本呢,就等於是無損母帶WAV格式。

01:56.100 --> 01:59.100
一首歌呀,幾十兆上百兆都很正常。

01:59.100 --> 02:02.100
這個GGUF壓縮之後呢,就像是MP3了。

02:02.100 --> 02:04.100
一首歌呢,也就是3、5兆的體積。

02:04.100 --> 02:07.100
常人呢,還一般都聽不出來音質有什麼區別。

02:07.100 --> 02:11.100
這個作者有點厲害哈,可以說是全世界做模型量化。

02:11.100 --> 02:16.600
最出名的。光是這一個模型的倉庫,一個月的下載量就有700多萬次。

02:16.600 --> 02:19.600
基本上呢,是家用電腦最適合的選擇了。

02:19.600 --> 02:23.100
在模型文件這個裡面,你能看到一大堆的模型清單。

02:23.100 --> 02:25.600
有幾個G的,還有幾十個G的都有。

02:25.600 --> 02:29.100
選擇也不難哈,咱們簡單粗暴的理解,你顯存多少個G,

02:29.100 --> 02:31.100
基本上呢,就是選多少G的模型。

02:31.100 --> 02:33.600
但注意哈,一定要留一定的餘量。

02:33.600 --> 02:37.600
因為你運行的時候呢,還會有上下文緩存這樣的一些開銷。

02:37.600 --> 02:40.600
我是16G的5060Ti,咱保守一點哈。

02:40.600 --> 02:43.600
我就選這個13G的Q3版本。

02:43.600 --> 02:47.600
當然呢,選16G的Q4,它也不是不能跑,只是速度呢,會慢一點。

02:47.600 --> 02:50.100
你可以多下幾個版本來自己比較一下。

02:50.100 --> 02:53.600
大模型只是腦子哈,要跑起來呢,還需要一個容器。

02:53.600 --> 02:57.100
趁它在下載的時候啊,咱們再給它安裝一套運行環境。

03:01.100 --> 03:03.600
前幾天,Deep-seek Harness不是才開源了嗎?

03:03.600 --> 03:04.600
今天咱們就用它。

03:04.600 --> 03:07.600
主頁上是它的主張,一切皆插件。

03:07.600 --> 03:10.600
安裝也不難哈,提示也是說一鍵使用。

03:10.600 --> 03:13.600
不過有一個前提,你的電腦必須有依賴的環境。

03:13.600 --> 03:15.600
它需要一個叫做Node.js的環境。

03:15.600 --> 03:17.600
但不用管它是幹嘛的哈。

03:17.600 --> 03:21.600
打開它的主頁,點這個綠色的按鈕,下載對應的版本。

03:21.600 --> 03:23.600
安裝呢,就是下一步下一步的事。

03:23.600 --> 03:26.600
這些具體的過程呢,我都會放到配套的文檔裡面。

03:26.600 --> 03:31.600
如果說你以前用過別的Aten的工具啊,大概率Node.js是你部署過的。

03:31.600 --> 03:32.600
這一步呢,就可以省略了。

03:32.600 --> 03:37.600
我們按下Wn加R這個快接鍵,輸入CMD,回車。

03:37.600 --> 03:40.600
彈出來一個黑乎乎的窗口,這個呢叫做終端。

03:40.600 --> 03:45.600
你啥都不用管哈,在Harness的主頁上,點這個複製按鈕。

03:45.600 --> 03:49.600
到終端裡面,Ctrl加V粘貼上,然後回車。

03:49.600 --> 03:52.600
按照提示,輸入字母Y,再回車。

03:52.600 --> 03:55.600
下面這個滾動起來,就表示已經開始安裝了。

03:55.600 --> 03:58.600
由於它可能會下載很多的東西,需要多等待一會兒。

03:58.600 --> 04:01.600
好了,這個時候呢,安裝結束了。

04:01.600 --> 04:03.600
它自動彈出了瀏覽器。

04:03.600 --> 04:07.600
如果說你的沒有彈出呢,你就把這一行地址,複製到你的瀏覽器。

04:07.600 --> 04:11.600
就OK,封面就有內側聲明,表示啊,這個產品還在測試階段。

04:11.600 --> 04:15.600
展開之後呢,還會提示你輸入Deep-seek的API-key。

04:15.600 --> 04:19.600
由於我們今天用的是本地大模型,所以這一步呢,就跳過就好。

04:19.600 --> 04:24.600
看到了這個黑鯊魚,咱們就算是正式的進入到了Deep-seek Harness的內部了。

04:24.600 --> 04:30.600
這會兒呢,仍然還用不了,因為Harness本身它不能直接的裝入一個本地模型。

04:30.600 --> 04:34.600
只能通過兼容OpenAI的API方式來調用。

04:34.600 --> 04:37.600
所以說我們還需要一個工具,把這個模型給它跑起來。

04:37.600 --> 04:43.600
這個工具呢,叫做Lama.CPP。

04:43.600 --> 04:49.600
現在非常火的什麼Olama呀,LM Studio啊,這些引擎啊,底層用的也都是它。

04:49.600 --> 04:56.600
打開它的地址,點開這裡,把頁面往下拉,找到符合你的操作系統和顯卡的版本,下載到本地。

04:56.600 --> 04:59.600
因為我是Windows系統哈,顯卡是50系的。

04:59.600 --> 05:02.600
所以我下載COODA13這個版本。

05:02.600 --> 05:07.600
如果你是稍微老一點的,什麼30系40系的顯卡,就要選COODA12這個版本了。

05:07.600 --> 05:09.600
文件不大,只有140Mbps。

05:09.600 --> 05:11.600
下載完呢,是一個壓縮包。

05:11.600 --> 05:12.600
解壓不用安裝。

05:12.600 --> 05:15.600
我的i盤是一個固態硬盤。

05:15.600 --> 05:18.600
在這裡呢,我新建了一個MODE文件夾。

05:18.600 --> 05:23.600
把Lama和剛才下載好的CENW3.8全部都放到了這個裡面。

05:23.600 --> 05:26.600
我也強烈的建議啊,你們也要放到固態硬盤裡。

05:26.600 --> 05:30.600
盡量啊,不要放機械硬盤,速度呢才會更快。

05:30.600 --> 05:35.600
就在這個文件夾裡,我們點擊鼠標的右鍵,選擇在終端中打開。

05:35.600 --> 05:37.600
咱們輸入這樣的一條命令。

05:37.600 --> 05:39.600
這個命令呢,我也會放到文檔裡哈。

05:39.600 --> 05:40.600
大概意思呢,就是告訴系統。

05:40.600 --> 05:42.600
把這個模型交給引擎。

05:42.600 --> 05:45.600
而且盡量把模型層放進顯卡。

05:45.600 --> 05:50.600
然後在本機的8080端口開一個接口,等著別的程序來調用它。

05:50.600 --> 05:52.600
回車之後呢,能看到它開始滾動了。

05:52.600 --> 05:57.600
直到你能看到一行127打頭的地址,就表示已經啟動好了。

05:57.600 --> 06:01.600
你可以按住鍵盤上的Ctrl鍵,點擊這個地址。

06:01.600 --> 06:04.600
它就會自動的打開你的默認瀏覽器。

06:04.600 --> 06:09.600
輸入一個你好,如果說它能回覆的話,說明大模型已經啟動成功了。

06:09.600 --> 06:11.600
好了,到這兒啊,冰箱門都打開了。

06:11.600 --> 06:14.600
最後一步,咱就是把大象放進去了。

06:14.600 --> 06:17.600
注意哈,剛才那個終端啊,這個時候是不能關的。

06:17.600 --> 06:19.600
你關了,大模型的服務就停了哈。

06:19.600 --> 06:22.600
以後你重新要打開Harness的話呢,不需要重新安裝。

06:22.600 --> 06:24.600
在終端裡頭,輸入這個命令。

06:24.600 --> 06:29.600
在Harness的頁面,咱們進入設置,模型,添加自定義提供方。

06:29.600 --> 06:31.600
你可以照著我來填哈。

06:31.600 --> 06:33.600
第一個框呢,必須是小寫字母開頭。

06:33.600 --> 06:36.600
顯示名稱,可以取一個你自己記得住的名字。

06:36.600 --> 06:40.600
API地址呢,就是剛才那個後綴是8080的那一段。

06:40.600 --> 06:43.600
但是後面啊,一定要有一個斜槓V1。

06:43.600 --> 06:47.600
API協議保持不變,密要,由於我們是本地模型哈。

06:47.600 --> 06:50.600
所以說就隨便填了,咱就敲了三個1。

06:50.600 --> 06:54.600
點一下獲取可用模型,就能看到咱們的千問3.8了。

06:54.600 --> 06:58.600
點下面的創建提供方,這就添加成功了。

06:58.600 --> 07:03.600
回到Harness主頁,這個時候呢,你還選不了模型,必須還有添加工作區。

07:03.600 --> 07:05.600
添加好了之後啊,就可以選擇模型了。

07:05.600 --> 07:08.600
趙莉,咱發一個你好,第一次可能想應慢一點。

07:08.600 --> 07:13.600
能看到它的回复,咱今天就算是全部的大功告成了。

07:16.600 --> 07:19.600
能回你好,不算本事啊,得看它能不能幹活。

07:19.600 --> 07:21.600
我們先看一個最直觀的例子。

07:21.600 --> 07:25.600
這個文件夾裡面有77個凌亂的文件,什麼格式都有。

07:25.600 --> 07:26.600
文件名也很亂。

07:26.600 --> 07:29.600
如果你的文件夾也這樣,按摩走一波。

07:29.600 --> 07:31.600
手動整理啊,當然很麻煩了。

07:31.600 --> 07:33.600
我在Harness裡面,按摩了這個文件夾。

07:33.600 --> 07:35.600
提示詞是這麼寫的。

07:35.600 --> 07:40.600
我送出命令之後啊,能看到它開始先列舉文件,統計文件數量。

07:40.600 --> 07:45.600
然後挨個的查看文件內容,匯報77個文件清理好了,準備分類。

07:45.600 --> 07:49.600
等到13分鐘的時候,終於看到幾個文件夾出現了。

07:49.600 --> 07:54.600
根下呢,還有一個report和復盤。看來根下兩個文件是臨時文件。

07:54.600 --> 07:58.600
它又把它清理掉了。22分鐘左右,整理報告終於出來了。

07:58.600 --> 08:00.600
你覺得這份報告寫的詳細嗎?

08:00.600 --> 08:04.600
我們的這個任務一共花了20多分鐘。這個時間還是有點久。

08:04.600 --> 08:06.600
當然呢,這個只是參考。

08:06.600 --> 08:08.600
畢竟呢,是它第一次跑任務。

08:08.600 --> 08:10.600
可能啊,有些環境啊工具啊還不具備。

08:10.600 --> 08:15.600
而且呢,我的後臺開著很多的agent,還有陸皮軟件啊這些,都會有一定的影響。

08:15.600 --> 08:17.600
都免費了,還要啥自行車呀?

08:17.600 --> 08:20.600
你的硬件不同,任務不同,當然可以自己去測。

08:20.600 --> 08:24.600
剛才呢,只是文件的整理。它能幹的事兒啊,遠遠不止這些。

08:24.600 --> 08:27.600
通常呢,有幾個共同的特點。

08:27.600 --> 08:32.600
處理大量的本地文件,規則相對明確,反覆發聲,還有一定的隱私性。

08:32.600 --> 08:35.600
我提煉了三大類,你可以來對號入座。

08:35.600 --> 08:40.600
第一類呢,是高頻任務,像什麼清理文件啊,給筆記打標圈啊,寫摘要啊這些。

08:40.600 --> 08:42.600
第二類呢,隱私,敏感型的任務。

08:42.600 --> 08:47.600
像是你的個人日記啊,商務文件啊,這些你當然不想上傳到雲端了。

08:47.600 --> 08:49.600
還有就是,常駐後台型的任務。

08:49.600 --> 08:54.600
比如說呢,你讓它監聽某一個文件家,一旦發生變化,就觸發任務。

08:54.600 --> 08:58.600
你可以不用每次都打開對話框,重新的下命令,它自己就能搞定了。

08:58.600 --> 09:04.600
感謝你能看到這裡啊,總的來說呢,只要你的硬件跑得動,這套模式呢,它是能幹活的。

09:04.600 --> 09:07.600
但是本地大模型呢,它不是雲端Agent的平替。

09:07.600 --> 09:12.600
雲端模型呢,負責最難的判斷,本地模型呢,負責長期的執行。

09:12.600 --> 09:13.600
兩邊都有用。

09:13.600 --> 09:17.600
我們今天不僅是部署了一套模型,更是搭建了一套本地的AI系統。

09:17.600 --> 09:22.600
以後啊,換掉簽文,換掉Harness,你的本地的上下文,永遠都在。

09:22.600 --> 09:27.600
和往常一樣的,今天用到的全部的下載地址而運行命令。

09:27.600 --> 09:31.600
還有這次案例的完整提示詞,所有資料我也都打包好了。

09:31.600 --> 09:33.600
需要的同學,評論區提我。

09:33.600 --> 09:36.600
我是船長,讓我們下期再見,拜拜。