1
00:00:00,000 --> 00:00:29,980
本地大模型到底能不能打?你看哈,我的這個文件夾有70多個文件。非常的凌亂,在Deepseek Harness裡面,我送出了提示詞。不一會兒,四個文件夾建好了,文件全部歸類整齊,還生成了一份整理報告。從我發出命令到結束全部的任務,我沒有碰過一次鍵盤。這個就是千萬3.827B,這個部署在我電腦本地的大模型。和Deepseek Harness配合起來的效果,都是本地哈,網線你都不用插,純純的國內生態,零費用。所以說,到底本地大模型是否有一個大模型?

2
00:00:29,980 --> 00:00:40,280
能不能幹活?我們的電腦帶不帶的動?本地模型能幹哪些事?不著急哈,今天都給你答案。又是手把手的教程,點好收藏與關注,我們這就發車。

3
00:00:43,600 --> 00:00:56,100
你如果用Codex,Code,Code,這些雲端Agent就繞不開幾個問題。價格高,本地讀寫麻煩,隱私不能被保護,還可能被封號。而千萬呢,剛剛推出了3.827B,這個本地大模型。

4
00:00:56,100 --> 00:01:03,600
但是直接跑在你的電腦上的,上面所有的問題就解決了。雲端大模型呢,咱們只能租用,本地的才是完全屬於你。

5
00:01:03,600 --> 00:01:11,680
不過本地模型啊,吃硬件,對於普通人來說呢,安裝還有門檻。速度和智力呢,肯定也比雲端的主流模型可能要弱一點。

6
00:01:11,680 --> 00:01:14,780
那今天咱們就來看一下哈,這套組合到底能不能打?

7
00:01:14,780 --> 00:01:20,100
今天內容有點長啊,而且呢,建議有時間的時候慢慢看,最好是一步一步的跟著做。

8
00:01:20,100 --> 00:01:22,100
咱第一步呢,需要下載模型。

9
00:01:26,100 --> 00:01:30,600
我們打開摩搭社區,都不用搜哈,在主頁上就能看到千萬3.8了。

10
00:01:30,600 --> 00:01:33,600
如果沒有的話呢,你也可以點這個放大鏡,直接搜的到。

11
00:01:33,600 --> 00:01:37,600
這個呢,你可以理解為是原廠原裝的模型,大概有50多G。

12
00:01:37,600 --> 00:01:41,600
所以硬件的要求啊,特別的高,咱普通的家用電腦,咱就不要想了。

13
00:01:41,600 --> 00:01:46,600
不過呢,社區的大神多哈,下面能看到一個後墜GGUF的。

14
00:01:46,600 --> 00:01:52,100
這個GGUF呢,是大模型的一種壓縮包裝格式,類似於像音樂文件一樣的。

15
00:01:52,100 --> 00:01:56,100
官方的50G的版本呢,就等於是無損母帶WAV格式。

16
00:01:56,100 --> 00:01:59,100
一首歌呀,幾十兆上百兆都很正常。

17
00:01:59,100 --> 00:02:02,100
這個GGUF壓縮之後呢,就像是MP3了。

18
00:02:02,100 --> 00:02:04,100
一首歌呢,也就是3、5兆的體積。

19
00:02:04,100 --> 00:02:07,100
常人呢,還一般都聽不出來音質有什麼區別。

20
00:02:07,100 --> 00:02:11,100
這個作者有點厲害哈,可以說是全世界做模型量化。

21
00:02:11,100 --> 00:02:16,600
最出名的。光是這一個模型的倉庫,一個月的下載量就有700多萬次。

22
00:02:16,600 --> 00:02:19,600
基本上呢,是家用電腦最適合的選擇了。

23
00:02:19,600 --> 00:02:23,100
在模型文件這個裡面,你能看到一大堆的模型清單。

24
00:02:23,100 --> 00:02:25,600
有幾個G的,還有幾十個G的都有。

25
00:02:25,600 --> 00:02:29,100
選擇也不難哈,咱們簡單粗暴的理解,你顯存多少個G,

26
00:02:29,100 --> 00:02:31,100
基本上呢,就是選多少G的模型。

27
00:02:31,100 --> 00:02:33,600
但注意哈,一定要留一定的餘量。

28
00:02:33,600 --> 00:02:37,600
因為你運行的時候呢,還會有上下文緩存這樣的一些開銷。

29
00:02:37,600 --> 00:02:40,600
我是16G的5060Ti,咱保守一點哈。

30
00:02:40,600 --> 00:02:43,600
我就選這個13G的Q3版本。

31
00:02:43,600 --> 00:02:47,600
當然呢,選16G的Q4,它也不是不能跑,只是速度呢,會慢一點。

32
00:02:47,600 --> 00:02:50,100
你可以多下幾個版本來自己比較一下。

33
00:02:50,100 --> 00:02:53,600
大模型只是腦子哈,要跑起來呢,還需要一個容器。

34
00:02:53,600 --> 00:02:57,100
趁它在下載的時候啊,咱們再給它安裝一套運行環境。

35
00:03:01,100 --> 00:03:03,600
前幾天,Deep-seek Harness不是才開源了嗎?

36
00:03:03,600 --> 00:03:04,600
今天咱們就用它。

37
00:03:04,600 --> 00:03:07,600
主頁上是它的主張,一切皆插件。

38
00:03:07,600 --> 00:03:10,600
安裝也不難哈,提示也是說一鍵使用。

39
00:03:10,600 --> 00:03:13,600
不過有一個前提,你的電腦必須有依賴的環境。

40
00:03:13,600 --> 00:03:15,600
它需要一個叫做Node.js的環境。

41
00:03:15,600 --> 00:03:17,600
但不用管它是幹嘛的哈。

42
00:03:17,600 --> 00:03:21,600
打開它的主頁,點這個綠色的按鈕,下載對應的版本。

43
00:03:21,600 --> 00:03:23,600
安裝呢,就是下一步下一步的事。

44
00:03:23,600 --> 00:03:26,600
這些具體的過程呢,我都會放到配套的文檔裡面。

45
00:03:26,600 --> 00:03:31,600
如果說你以前用過別的Aten的工具啊,大概率Node.js是你部署過的。

46
00:03:31,600 --> 00:03:32,600
這一步呢,就可以省略了。

47
00:03:32,600 --> 00:03:37,600
我們按下Wn加R這個快接鍵,輸入CMD,回車。

48
00:03:37,600 --> 00:03:40,600
彈出來一個黑乎乎的窗口,這個呢叫做終端。

49
00:03:40,600 --> 00:03:45,600
你啥都不用管哈,在Harness的主頁上,點這個複製按鈕。

50
00:03:45,600 --> 00:03:49,600
到終端裡面,Ctrl加V粘貼上,然後回車。

51
00:03:49,600 --> 00:03:52,600
按照提示,輸入字母Y,再回車。

52
00:03:52,600 --> 00:03:55,600
下面這個滾動起來,就表示已經開始安裝了。

53
00:03:55,600 --> 00:03:58,600
由於它可能會下載很多的東西,需要多等待一會兒。

54
00:03:58,600 --> 00:04:01,600
好了,這個時候呢,安裝結束了。

55
00:04:01,600 --> 00:04:03,600
它自動彈出了瀏覽器。

56
00:04:03,600 --> 00:04:07,600
如果說你的沒有彈出呢,你就把這一行地址,複製到你的瀏覽器。

57
00:04:07,600 --> 00:04:11,600
就OK,封面就有內側聲明,表示啊,這個產品還在測試階段。

58
00:04:11,600 --> 00:04:15,600
展開之後呢,還會提示你輸入Deep-seek的API-key。

59
00:04:15,600 --> 00:04:19,600
由於我們今天用的是本地大模型,所以這一步呢,就跳過就好。

60
00:04:19,600 --> 00:04:24,600
看到了這個黑鯊魚,咱們就算是正式的進入到了Deep-seek Harness的內部了。

61
00:04:24,600 --> 00:04:30,600
這會兒呢,仍然還用不了,因為Harness本身它不能直接的裝入一個本地模型。

62
00:04:30,600 --> 00:04:34,600
只能通過兼容OpenAI的API方式來調用。

63
00:04:34,600 --> 00:04:37,600
所以說我們還需要一個工具,把這個模型給它跑起來。

64
00:04:37,600 --> 00:04:43,600
這個工具呢,叫做Lama.CPP。

65
00:04:43,600 --> 00:04:49,600
現在非常火的什麼Olama呀,LM Studio啊,這些引擎啊,底層用的也都是它。

66
00:04:49,600 --> 00:04:56,600
打開它的地址,點開這裡,把頁面往下拉,找到符合你的操作系統和顯卡的版本,下載到本地。

67
00:04:56,600 --> 00:04:59,600
因為我是Windows系統哈,顯卡是50系的。

68
00:04:59,600 --> 00:05:02,600
所以我下載COODA13這個版本。

69
00:05:02,600 --> 00:05:07,600
如果你是稍微老一點的,什麼30系40系的顯卡,就要選COODA12這個版本了。

70
00:05:07,600 --> 00:05:09,600
文件不大,只有140Mbps。

71
00:05:09,600 --> 00:05:11,600
下載完呢,是一個壓縮包。

72
00:05:11,600 --> 00:05:12,600
解壓不用安裝。

73
00:05:12,600 --> 00:05:15,600
我的i盤是一個固態硬盤。

74
00:05:15,600 --> 00:05:18,600
在這裡呢,我新建了一個MODE文件夾。

75
00:05:18,600 --> 00:05:23,600
把Lama和剛才下載好的CENW3.8全部都放到了這個裡面。

76
00:05:23,600 --> 00:05:26,600
我也強烈的建議啊,你們也要放到固態硬盤裡。

77
00:05:26,600 --> 00:05:30,600
盡量啊,不要放機械硬盤,速度呢才會更快。

78
00:05:30,600 --> 00:05:35,600
就在這個文件夾裡,我們點擊鼠標的右鍵,選擇在終端中打開。

79
00:05:35,600 --> 00:05:37,600
咱們輸入這樣的一條命令。

80
00:05:37,600 --> 00:05:39,600
這個命令呢,我也會放到文檔裡哈。

81
00:05:39,600 --> 00:05:40,600
大概意思呢,就是告訴系統。

82
00:05:40,600 --> 00:05:42,600
把這個模型交給引擎。

83
00:05:42,600 --> 00:05:45,600
而且盡量把模型層放進顯卡。

84
00:05:45,600 --> 00:05:50,600
然後在本機的8080端口開一個接口,等著別的程序來調用它。

85
00:05:50,600 --> 00:05:52,600
回車之後呢,能看到它開始滾動了。

86
00:05:52,600 --> 00:05:57,600
直到你能看到一行127打頭的地址,就表示已經啟動好了。

87
00:05:57,600 --> 00:06:01,600
你可以按住鍵盤上的Ctrl鍵,點擊這個地址。

88
00:06:01,600 --> 00:06:04,600
它就會自動的打開你的默認瀏覽器。

89
00:06:04,600 --> 00:06:09,600
輸入一個你好,如果說它能回覆的話,說明大模型已經啟動成功了。

90
00:06:09,600 --> 00:06:11,600
好了,到這兒啊,冰箱門都打開了。

91
00:06:11,600 --> 00:06:14,600
最後一步,咱就是把大象放進去了。

92
00:06:14,600 --> 00:06:17,600
注意哈,剛才那個終端啊,這個時候是不能關的。

93
00:06:17,600 --> 00:06:19,600
你關了,大模型的服務就停了哈。

94
00:06:19,600 --> 00:06:22,600
以後你重新要打開Harness的話呢,不需要重新安裝。

95
00:06:22,600 --> 00:06:24,600
在終端裡頭,輸入這個命令。

96
00:06:24,600 --> 00:06:29,600
在Harness的頁面,咱們進入設置,模型,添加自定義提供方。

97
00:06:29,600 --> 00:06:31,600
你可以照著我來填哈。

98
00:06:31,600 --> 00:06:33,600
第一個框呢,必須是小寫字母開頭。

99
00:06:33,600 --> 00:06:36,600
顯示名稱,可以取一個你自己記得住的名字。

100
00:06:36,600 --> 00:06:40,600
API地址呢,就是剛才那個後綴是8080的那一段。

101
00:06:40,600 --> 00:06:43,600
但是後面啊,一定要有一個斜槓V1。

102
00:06:43,600 --> 00:06:47,600
API協議保持不變,密要,由於我們是本地模型哈。

103
00:06:47,600 --> 00:06:50,600
所以說就隨便填了,咱就敲了三個1。

104
00:06:50,600 --> 00:06:54,600
點一下獲取可用模型,就能看到咱們的千問3.8了。

105
00:06:54,600 --> 00:06:58,600
點下面的創建提供方,這就添加成功了。

106
00:06:58,600 --> 00:07:03,600
回到Harness主頁,這個時候呢,你還選不了模型,必須還有添加工作區。

107
00:07:03,600 --> 00:07:05,600
添加好了之後啊,就可以選擇模型了。

108
00:07:05,600 --> 00:07:08,600
趙莉,咱發一個你好,第一次可能想應慢一點。

109
00:07:08,600 --> 00:07:13,600
能看到它的回复,咱今天就算是全部的大功告成了。

110
00:07:16,600 --> 00:07:19,600
能回你好,不算本事啊,得看它能不能幹活。

111
00:07:19,600 --> 00:07:21,600
我們先看一個最直觀的例子。

112
00:07:21,600 --> 00:07:25,600
這個文件夾裡面有77個凌亂的文件,什麼格式都有。

113
00:07:25,600 --> 00:07:26,600
文件名也很亂。

114
00:07:26,600 --> 00:07:29,600
如果你的文件夾也這樣,按摩走一波。

115
00:07:29,600 --> 00:07:31,600
手動整理啊,當然很麻煩了。

116
00:07:31,600 --> 00:07:33,600
我在Harness裡面,按摩了這個文件夾。

117
00:07:33,600 --> 00:07:35,600
提示詞是這麼寫的。

118
00:07:35,600 --> 00:07:40,600
我送出命令之後啊,能看到它開始先列舉文件,統計文件數量。

119
00:07:40,600 --> 00:07:45,600
然後挨個的查看文件內容,匯報77個文件清理好了,準備分類。

120
00:07:45,600 --> 00:07:49,600
等到13分鐘的時候,終於看到幾個文件夾出現了。

121
00:07:49,600 --> 00:07:54,600
根下呢,還有一個report和復盤。看來根下兩個文件是臨時文件。

122
00:07:54,600 --> 00:07:58,600
它又把它清理掉了。22分鐘左右,整理報告終於出來了。

123
00:07:58,600 --> 00:08:00,600
你覺得這份報告寫的詳細嗎?

124
00:08:00,600 --> 00:08:04,600
我們的這個任務一共花了20多分鐘。這個時間還是有點久。

125
00:08:04,600 --> 00:08:06,600
當然呢,這個只是參考。

126
00:08:06,600 --> 00:08:08,600
畢竟呢,是它第一次跑任務。

127
00:08:08,600 --> 00:08:10,600
可能啊,有些環境啊工具啊還不具備。

128
00:08:10,600 --> 00:08:15,600
而且呢,我的後臺開著很多的agent,還有陸皮軟件啊這些,都會有一定的影響。

129
00:08:15,600 --> 00:08:17,600
都免費了,還要啥自行車呀?

130
00:08:17,600 --> 00:08:20,600
你的硬件不同,任務不同,當然可以自己去測。

131
00:08:20,600 --> 00:08:24,600
剛才呢,只是文件的整理。它能幹的事兒啊,遠遠不止這些。

132
00:08:24,600 --> 00:08:27,600
通常呢,有幾個共同的特點。

133
00:08:27,600 --> 00:08:32,600
處理大量的本地文件,規則相對明確,反覆發聲,還有一定的隱私性。

134
00:08:32,600 --> 00:08:35,600
我提煉了三大類,你可以來對號入座。

135
00:08:35,600 --> 00:08:40,600
第一類呢,是高頻任務,像什麼清理文件啊,給筆記打標圈啊,寫摘要啊這些。

136
00:08:40,600 --> 00:08:42,600
第二類呢,隱私,敏感型的任務。

137
00:08:42,600 --> 00:08:47,600
像是你的個人日記啊,商務文件啊,這些你當然不想上傳到雲端了。

138
00:08:47,600 --> 00:08:49,600
還有就是,常駐後台型的任務。

139
00:08:49,600 --> 00:08:54,600
比如說呢,你讓它監聽某一個文件家,一旦發生變化,就觸發任務。

140
00:08:54,600 --> 00:08:58,600
你可以不用每次都打開對話框,重新的下命令,它自己就能搞定了。

141
00:08:58,600 --> 00:09:04,600
感謝你能看到這裡啊,總的來說呢,只要你的硬件跑得動,這套模式呢,它是能幹活的。

142
00:09:04,600 --> 00:09:07,600
但是本地大模型呢,它不是雲端Agent的平替。

143
00:09:07,600 --> 00:09:12,600
雲端模型呢,負責最難的判斷,本地模型呢,負責長期的執行。

144
00:09:12,600 --> 00:09:13,600
兩邊都有用。

145
00:09:13,600 --> 00:09:17,600
我們今天不僅是部署了一套模型,更是搭建了一套本地的AI系統。

146
00:09:17,600 --> 00:09:22,600
以後啊,換掉簽文,換掉Harness,你的本地的上下文,永遠都在。

147
00:09:22,600 --> 00:09:27,600
和往常一樣的,今天用到的全部的下載地址而運行命令。

148
00:09:27,600 --> 00:09:31,600
還有這次案例的完整提示詞,所有資料我也都打包好了。

149
00:09:31,600 --> 00:09:33,600
需要的同學,評論區提我。

150
00:09:33,600 --> 00:09:36,600
我是船長,讓我們下期再見,拜拜。