start	end	text
0	29980	本地大模型到底能不能打?你看哈,我的這個文件夾有70多個文件。非常的凌亂,在Deepseek Harness裡面,我送出了提示詞。不一會兒,四個文件夾建好了,文件全部歸類整齊,還生成了一份整理報告。從我發出命令到結束全部的任務,我沒有碰過一次鍵盤。這個就是千萬3.827B,這個部署在我電腦本地的大模型。和Deepseek Harness配合起來的效果,都是本地哈,網線你都不用插,純純的國內生態,零費用。所以說,到底本地大模型是否有一個大模型?
29980	40280	能不能幹活?我們的電腦帶不帶的動?本地模型能幹哪些事?不著急哈,今天都給你答案。又是手把手的教程,點好收藏與關注,我們這就發車。
43600	56100	你如果用Codex,Code,Code,這些雲端Agent就繞不開幾個問題。價格高,本地讀寫麻煩,隱私不能被保護,還可能被封號。而千萬呢,剛剛推出了3.827B,這個本地大模型。
56100	63600	但是直接跑在你的電腦上的,上面所有的問題就解決了。雲端大模型呢,咱們只能租用,本地的才是完全屬於你。
63600	71680	不過本地模型啊,吃硬件,對於普通人來說呢,安裝還有門檻。速度和智力呢,肯定也比雲端的主流模型可能要弱一點。
71680	74780	那今天咱們就來看一下哈,這套組合到底能不能打?
74780	80100	今天內容有點長啊,而且呢,建議有時間的時候慢慢看,最好是一步一步的跟著做。
80100	82100	咱第一步呢,需要下載模型。
86100	90600	我們打開摩搭社區,都不用搜哈,在主頁上就能看到千萬3.8了。
90600	93600	如果沒有的話呢,你也可以點這個放大鏡,直接搜的到。
93600	97600	這個呢,你可以理解為是原廠原裝的模型,大概有50多G。
97600	101600	所以硬件的要求啊,特別的高,咱普通的家用電腦,咱就不要想了。
101600	106600	不過呢,社區的大神多哈,下面能看到一個後墜GGUF的。
106600	112100	這個GGUF呢,是大模型的一種壓縮包裝格式,類似於像音樂文件一樣的。
112100	116100	官方的50G的版本呢,就等於是無損母帶WAV格式。
116100	119100	一首歌呀,幾十兆上百兆都很正常。
119100	122100	這個GGUF壓縮之後呢,就像是MP3了。
122100	124100	一首歌呢,也就是3、5兆的體積。
124100	127100	常人呢,還一般都聽不出來音質有什麼區別。
127100	131100	這個作者有點厲害哈,可以說是全世界做模型量化。
131100	136600	最出名的。光是這一個模型的倉庫,一個月的下載量就有700多萬次。
136600	139600	基本上呢,是家用電腦最適合的選擇了。
139600	143100	在模型文件這個裡面,你能看到一大堆的模型清單。
143100	145600	有幾個G的,還有幾十個G的都有。
145600	149100	選擇也不難哈,咱們簡單粗暴的理解,你顯存多少個G,
149100	151100	基本上呢,就是選多少G的模型。
151100	153600	但注意哈,一定要留一定的餘量。
153600	157600	因為你運行的時候呢,還會有上下文緩存這樣的一些開銷。
157600	160600	我是16G的5060Ti,咱保守一點哈。
160600	163600	我就選這個13G的Q3版本。
163600	167600	當然呢,選16G的Q4,它也不是不能跑,只是速度呢,會慢一點。
167600	170100	你可以多下幾個版本來自己比較一下。
170100	173600	大模型只是腦子哈,要跑起來呢,還需要一個容器。
173600	177100	趁它在下載的時候啊,咱們再給它安裝一套運行環境。
181100	183600	前幾天,Deep-seek Harness不是才開源了嗎?
183600	184600	今天咱們就用它。
184600	187600	主頁上是它的主張,一切皆插件。
187600	190600	安裝也不難哈,提示也是說一鍵使用。
190600	193600	不過有一個前提,你的電腦必須有依賴的環境。
193600	195600	它需要一個叫做Node.js的環境。
195600	197600	但不用管它是幹嘛的哈。
197600	201600	打開它的主頁,點這個綠色的按鈕,下載對應的版本。
201600	203600	安裝呢,就是下一步下一步的事。
203600	206600	這些具體的過程呢,我都會放到配套的文檔裡面。
206600	211600	如果說你以前用過別的Aten的工具啊,大概率Node.js是你部署過的。
211600	212600	這一步呢,就可以省略了。
212600	217600	我們按下Wn加R這個快接鍵,輸入CMD,回車。
217600	220600	彈出來一個黑乎乎的窗口,這個呢叫做終端。
220600	225600	你啥都不用管哈,在Harness的主頁上,點這個複製按鈕。
225600	229600	到終端裡面,Ctrl加V粘貼上,然後回車。
229600	232600	按照提示,輸入字母Y,再回車。
232600	235600	下面這個滾動起來,就表示已經開始安裝了。
235600	238600	由於它可能會下載很多的東西,需要多等待一會兒。
238600	241600	好了,這個時候呢,安裝結束了。
241600	243600	它自動彈出了瀏覽器。
243600	247600	如果說你的沒有彈出呢,你就把這一行地址,複製到你的瀏覽器。
247600	251600	就OK,封面就有內側聲明,表示啊,這個產品還在測試階段。
251600	255600	展開之後呢,還會提示你輸入Deep-seek的API-key。
255600	259600	由於我們今天用的是本地大模型,所以這一步呢,就跳過就好。
259600	264600	看到了這個黑鯊魚,咱們就算是正式的進入到了Deep-seek Harness的內部了。
264600	270600	這會兒呢,仍然還用不了,因為Harness本身它不能直接的裝入一個本地模型。
270600	274600	只能通過兼容OpenAI的API方式來調用。
274600	277600	所以說我們還需要一個工具,把這個模型給它跑起來。
277600	283600	這個工具呢,叫做Lama.CPP。
283600	289600	現在非常火的什麼Olama呀,LM Studio啊,這些引擎啊,底層用的也都是它。
289600	296600	打開它的地址,點開這裡,把頁面往下拉,找到符合你的操作系統和顯卡的版本,下載到本地。
296600	299600	因為我是Windows系統哈,顯卡是50系的。
299600	302600	所以我下載COODA13這個版本。
302600	307600	如果你是稍微老一點的,什麼30系40系的顯卡,就要選COODA12這個版本了。
307600	309600	文件不大,只有140Mbps。
309600	311600	下載完呢,是一個壓縮包。
311600	312600	解壓不用安裝。
312600	315600	我的i盤是一個固態硬盤。
315600	318600	在這裡呢,我新建了一個MODE文件夾。
318600	323600	把Lama和剛才下載好的CENW3.8全部都放到了這個裡面。
323600	326600	我也強烈的建議啊,你們也要放到固態硬盤裡。
326600	330600	盡量啊,不要放機械硬盤,速度呢才會更快。
330600	335600	就在這個文件夾裡,我們點擊鼠標的右鍵,選擇在終端中打開。
335600	337600	咱們輸入這樣的一條命令。
337600	339600	這個命令呢,我也會放到文檔裡哈。
339600	340600	大概意思呢,就是告訴系統。
340600	342600	把這個模型交給引擎。
342600	345600	而且盡量把模型層放進顯卡。
345600	350600	然後在本機的8080端口開一個接口,等著別的程序來調用它。
350600	352600	回車之後呢,能看到它開始滾動了。
352600	357600	直到你能看到一行127打頭的地址,就表示已經啟動好了。
357600	361600	你可以按住鍵盤上的Ctrl鍵,點擊這個地址。
361600	364600	它就會自動的打開你的默認瀏覽器。
364600	369600	輸入一個你好,如果說它能回覆的話,說明大模型已經啟動成功了。
369600	371600	好了,到這兒啊,冰箱門都打開了。
371600	374600	最後一步,咱就是把大象放進去了。
374600	377600	注意哈,剛才那個終端啊,這個時候是不能關的。
377600	379600	你關了,大模型的服務就停了哈。
379600	382600	以後你重新要打開Harness的話呢,不需要重新安裝。
382600	384600	在終端裡頭,輸入這個命令。
384600	389600	在Harness的頁面,咱們進入設置,模型,添加自定義提供方。
389600	391600	你可以照著我來填哈。
391600	393600	第一個框呢,必須是小寫字母開頭。
393600	396600	顯示名稱,可以取一個你自己記得住的名字。
396600	400600	API地址呢,就是剛才那個後綴是8080的那一段。
400600	403600	但是後面啊,一定要有一個斜槓V1。
403600	407600	API協議保持不變,密要,由於我們是本地模型哈。
407600	410600	所以說就隨便填了,咱就敲了三個1。
410600	414600	點一下獲取可用模型,就能看到咱們的千問3.8了。
414600	418600	點下面的創建提供方,這就添加成功了。
418600	423600	回到Harness主頁,這個時候呢,你還選不了模型,必須還有添加工作區。
423600	425600	添加好了之後啊,就可以選擇模型了。
425600	428600	趙莉,咱發一個你好,第一次可能想應慢一點。
428600	433600	能看到它的回复,咱今天就算是全部的大功告成了。
436600	439600	能回你好,不算本事啊,得看它能不能幹活。
439600	441600	我們先看一個最直觀的例子。
441600	445600	這個文件夾裡面有77個凌亂的文件,什麼格式都有。
445600	446600	文件名也很亂。
446600	449600	如果你的文件夾也這樣,按摩走一波。
449600	451600	手動整理啊,當然很麻煩了。
451600	453600	我在Harness裡面,按摩了這個文件夾。
453600	455600	提示詞是這麼寫的。
455600	460600	我送出命令之後啊,能看到它開始先列舉文件,統計文件數量。
460600	465600	然後挨個的查看文件內容,匯報77個文件清理好了,準備分類。
465600	469600	等到13分鐘的時候,終於看到幾個文件夾出現了。
469600	474600	根下呢,還有一個report和復盤。看來根下兩個文件是臨時文件。
474600	478600	它又把它清理掉了。22分鐘左右,整理報告終於出來了。
478600	480600	你覺得這份報告寫的詳細嗎?
480600	484600	我們的這個任務一共花了20多分鐘。這個時間還是有點久。
484600	486600	當然呢,這個只是參考。
486600	488600	畢竟呢,是它第一次跑任務。
488600	490600	可能啊,有些環境啊工具啊還不具備。
490600	495600	而且呢,我的後臺開著很多的agent,還有陸皮軟件啊這些,都會有一定的影響。
495600	497600	都免費了,還要啥自行車呀?
497600	500600	你的硬件不同,任務不同,當然可以自己去測。
500600	504600	剛才呢,只是文件的整理。它能幹的事兒啊,遠遠不止這些。
504600	507600	通常呢,有幾個共同的特點。
507600	512600	處理大量的本地文件,規則相對明確,反覆發聲,還有一定的隱私性。
512600	515600	我提煉了三大類,你可以來對號入座。
515600	520600	第一類呢,是高頻任務,像什麼清理文件啊,給筆記打標圈啊,寫摘要啊這些。
520600	522600	第二類呢,隱私,敏感型的任務。
522600	527600	像是你的個人日記啊,商務文件啊,這些你當然不想上傳到雲端了。
527600	529600	還有就是,常駐後台型的任務。
529600	534600	比如說呢,你讓它監聽某一個文件家,一旦發生變化,就觸發任務。
534600	538600	你可以不用每次都打開對話框,重新的下命令,它自己就能搞定了。
538600	544600	感謝你能看到這裡啊,總的來說呢,只要你的硬件跑得動,這套模式呢,它是能幹活的。
544600	547600	但是本地大模型呢,它不是雲端Agent的平替。
547600	552600	雲端模型呢,負責最難的判斷,本地模型呢,負責長期的執行。
552600	553600	兩邊都有用。
553600	557600	我們今天不僅是部署了一套模型,更是搭建了一套本地的AI系統。
557600	562600	以後啊,換掉簽文,換掉Harness,你的本地的上下文,永遠都在。
562600	567600	和往常一樣的,今天用到的全部的下載地址而運行命令。
567600	571600	還有這次案例的完整提示詞,所有資料我也都打包好了。
571600	573600	需要的同學,評論區提我。
573600	576600	我是船長,讓我們下期再見,拜拜。