WEBVTT
Kind: captions
Language: zh

00:00:00.166 --> 00:00:01.468
OK 今天我们来讲一下

00:00:01.601 --> 00:00:03.503
为什么要部署本地大模型

00:00:03.570 --> 00:00:05.772
每次我做关于本地模型的视频

00:00:05.772 --> 00:00:06.606
都会看到评论区

00:00:06.606 --> 00:00:07.774
有一些朋友不理解

00:00:07.774 --> 00:00:10.343
就问你本地模型的意义是什么

00:00:10.343 --> 00:00:12.112
DeepSeek一个月用下来才多少钱

00:00:12.145 --> 00:00:12.912
现在买硬件

00:00:12.912 --> 00:00:14.547
你可能要好几年才能回本

00:00:14.547 --> 00:00:16.049
然后还要花时间折腾

00:00:16.116 --> 00:00:18.084
然后本地模型又没有云端模型

00:00:18.084 --> 00:00:18.651
速度快

00:00:18.651 --> 00:00:20.253
也没有云端模型的质量好

00:00:20.253 --> 00:00:22.389
那么今天我正好是在用本地的

00:00:22.389 --> 00:00:25.291
qwen 3.8 27b帮我把NAS改造成

00:00:25.291 --> 00:00:27.794
一个专门给我的云端和本地的AI

00:00:28.028 --> 00:00:29.496
用的共享记忆库

00:00:29.696 --> 00:00:31.931
所以就想趁机跟大家聊一下我的想法

00:00:31.931 --> 00:00:33.533
那么首先就是隐私

00:00:33.666 --> 00:00:36.369
隐私是当下用本地大模型最重要的理由

00:00:36.369 --> 00:00:39.105
那么我这个NAS里面是有很多的私人的照片

00:00:39.105 --> 00:00:40.473
我很多私人的文件

00:00:40.573 --> 00:00:44.644
同时为了把整个NAS从底层改造成一个安全的

00:00:44.644 --> 00:00:46.246
适合用来给我的云端Agent

00:00:46.246 --> 00:00:47.547
还有我的本地Agent

00:00:47.680 --> 00:00:49.482
共用的这样一个记忆库

00:00:49.516 --> 00:00:50.617
数据库 知识库

00:00:50.683 --> 00:00:52.018
我还是需要给我的Agent

00:00:52.018 --> 00:00:55.088
全权限的SSH进去做很多操作

00:00:55.088 --> 00:00:57.257
所以首先在对模型的选用上

00:00:57.323 --> 00:00:59.726
直接一棒子就把所有云端API给打死了

00:00:59.726 --> 00:01:01.728
那有的朋友可能就要说了

00:01:01.728 --> 00:01:03.830
在线的很多API都是明确写了的

00:01:03.830 --> 00:01:06.433
就是不会用你的数据去训练的

00:01:06.433 --> 00:01:07.567
你要是真的信

00:01:07.600 --> 00:01:09.836
我也只能就尊重你的想法

00:01:09.836 --> 00:01:10.870
我们就假设

00:01:10.904 --> 00:01:12.005
假设测试真的

00:01:12.005 --> 00:01:14.007
他不会选择你的数据进行训练

00:01:14.007 --> 00:01:15.041
你发过去的数据

00:01:15.041 --> 00:01:16.142
他是一点都不关心

00:01:16.142 --> 00:01:17.210
真的一点都不看

00:01:17.310 --> 00:01:19.045
良心爆棚 阅后即焚

00:01:19.145 --> 00:01:21.948
但是你的风险不仅仅是说你的隐私

00:01:21.948 --> 00:01:23.149
会被上传到云端

00:01:23.249 --> 00:01:25.151
因为在你自己的局域网里面

00:01:25.218 --> 00:01:27.587
连着这么多台电脑 手机等等设备

00:01:27.754 --> 00:01:30.690
agent 一个拥有root权限的agent

00:01:30.690 --> 00:01:33.359
它是会遍历你整个文件系统的

00:01:33.359 --> 00:01:34.394
所有文件系统

00:01:34.394 --> 00:01:35.829
不是说你让他读什么

00:01:35.829 --> 00:01:37.063
他就只读什么的

00:01:37.063 --> 00:01:38.631
他是自己会去搜索记录

00:01:38.765 --> 00:01:40.934
也可能会擅自去访问你的敏感信息

00:01:41.034 --> 00:01:43.937
虽然我也觉得我的数据可能就不止几块钱

00:01:43.937 --> 00:01:46.473
我又不是什么正在攻克最前沿的

00:01:46.473 --> 00:01:47.707
数学难题的数学家

00:01:47.707 --> 00:01:49.175
不用怕被剽窃点子

00:01:49.175 --> 00:01:51.778
但同时我也觉得大模型的云服务商

00:01:51.778 --> 00:01:54.247
他们最喜欢的就是用户的这种想法

00:01:54.380 --> 00:01:55.748
你觉得不值钱的东西

00:01:55.748 --> 00:01:58.451
在他们看来有可能是非常值钱

00:01:58.451 --> 00:01:59.385
所以在做这一类

00:01:59.519 --> 00:02:02.188
在局域网里面给他全线做工作的时候

00:02:02.388 --> 00:02:04.657
比起把数据送到一个嘴很甜

00:02:04.657 --> 00:02:06.793
但小动作可能不干净的云服务上

00:02:06.993 --> 00:02:10.129
我的做法是把AI直接放在我的数据旁边

00:02:10.129 --> 00:02:12.332
然后把他们照起来让他们出不去

00:02:12.332 --> 00:02:14.767
那么隐私是使用本地大模型最大的

00:02:14.767 --> 00:02:16.369
也是最一刀切的理由

00:02:16.369 --> 00:02:17.971
但它并不是所有理由

00:02:17.971 --> 00:02:20.640
接下来我还想从金钱速度还有质量的角度

00:02:20.707 --> 00:02:22.709
再扒开来跟大家聊聊我的想法

00:02:22.709 --> 00:02:23.443
先说金钱

00:02:23.643 --> 00:02:26.079
比如说DeepSeek是我用的最多的模型

00:02:26.112 --> 00:02:27.213
我很喜欢这个模型

00:02:27.213 --> 00:02:28.948
但是中间一段日子

00:02:28.948 --> 00:02:30.316
它要涨价就涨价

00:02:30.450 --> 00:02:31.584
可能是用的太多了

00:02:31.584 --> 00:02:33.152
真的很霸道就是说

00:02:33.152 --> 00:02:34.954
而且涨的不是一星半点

00:02:34.988 --> 00:02:37.390
那个涨价是直接可以让我的API费用

00:02:37.390 --> 00:02:39.225
从以前一个月300块人民币

00:02:39.292 --> 00:02:42.328
直接暴涨到一个月1000多人民币的那种涨价

00:02:42.428 --> 00:02:43.029
你怎么办

00:02:43.163 --> 00:02:45.532
它后来现在又更新了DeepSeek V4.1

00:02:45.532 --> 00:02:47.033
flash价格又降下来了

00:02:47.033 --> 00:02:49.936
但降价之后仍就是比涨价之前还要贵的

00:02:50.036 --> 00:02:52.872
也仍就是比本地部署AI的电费要贵

00:02:52.972 --> 00:02:53.673
贵得多

00:02:53.740 --> 00:02:56.910
按照我自己的用量一个月电费大概是200块钱

00:02:56.910 --> 00:02:59.379
但国内的朋友电价是我这边的三分之一

00:02:59.379 --> 00:03:01.581
也就是六七十块电费就够了

00:03:01.681 --> 00:03:03.750
那这时候也有的小伙伴要说了

00:03:03.750 --> 00:03:05.852
您这本地硬件也是要钱的

00:03:05.885 --> 00:03:07.554
更何况现在显卡这么贵

00:03:07.554 --> 00:03:08.688
内存也这么贵

00:03:08.788 --> 00:03:10.189
你想整一台AI主机

00:03:10.189 --> 00:03:11.257
那不得好几万块吗

00:03:11.558 --> 00:03:13.326
这句话对也不对

00:03:13.693 --> 00:03:15.662
就如果你现在在这个时间点

00:03:15.662 --> 00:03:19.065
像从零开始整一台用的相对舒服的AI主机

00:03:19.165 --> 00:03:21.601
比如说3090 4090甚至5090

00:03:21.601 --> 00:03:24.971
或者AMD AI PRO R9700或者7900XTX

00:03:24.971 --> 00:03:25.738
确实很贵

00:03:26.005 --> 00:03:27.840
假设你两万块钱配一套主机

00:03:27.840 --> 00:03:28.608
掐指一算

00:03:28.708 --> 00:03:30.543
也够你API用个两三年了

00:03:30.543 --> 00:03:33.112
而且这两三年你都一直可以用在线的

00:03:33.112 --> 00:03:36.449
最新的最好的比本地能力更强的大模型

00:03:36.616 --> 00:03:39.152
然而这笔账你还能反过来算

00:03:39.152 --> 00:03:42.455
就比如说我当时买我的4090的时候是1万块钱出头

00:03:42.522 --> 00:03:43.556
几年过去

00:03:43.556 --> 00:03:45.024
含泪血赚一倍

00:03:45.024 --> 00:03:47.560
还有比如说7900XTX这种AMD的显卡

00:03:47.794 --> 00:03:49.128
在它的生态起来之前

00:03:49.229 --> 00:03:50.730
它是只用5000来块钱

00:03:50.964 --> 00:03:54.033
而现在它被各路开源的大神优化好了

00:03:54.200 --> 00:03:55.468
价格也就涨上去了

00:03:55.535 --> 00:03:56.703
涨了好几千块钱

00:03:56.703 --> 00:03:58.137
这时候你再去买它

00:03:58.304 --> 00:03:59.272
划不划算呢

00:03:59.405 --> 00:04:00.907
我觉得非常见仁见智

00:04:01.074 --> 00:04:03.042
因为当时它只有5000块钱

00:04:03.042 --> 00:04:04.510
是因为它本来速度就慢

00:04:04.677 --> 00:04:06.446
一如它只有5000块钱的价值

00:04:06.446 --> 00:04:07.580
而现在它涨价了

00:04:07.580 --> 00:04:09.015
是因为它的价值变高了

00:04:09.015 --> 00:04:10.917
大家都意识到A卡被优化好了

00:04:10.917 --> 00:04:12.051
居然还这么好用

00:04:12.051 --> 00:04:16.422
所以显卡它的价格早就已经被它的算力提前定价了

00:04:16.489 --> 00:04:18.524
这时候你想买到便宜的算力

00:04:18.524 --> 00:04:19.192
只有两种可能

00:04:19.225 --> 00:04:20.393
一种就是像我运气好

00:04:20.393 --> 00:04:23.496
我本身当时就是有做3D方面的相关的工作的需求

00:04:23.496 --> 00:04:24.430
才买到4090

00:04:24.430 --> 00:04:28.268
我也没有想到有一天这张卡居然会能拿来跑本地AI

00:04:28.534 --> 00:04:30.970
还有一种就是你真的非常有远见

00:04:30.970 --> 00:04:32.472
你成天泡在社区

00:04:32.505 --> 00:04:33.339
非常懂技术

00:04:33.339 --> 00:04:36.876
第一时间能了解到某个框架的突然炸裂优化

00:04:36.976 --> 00:04:38.511
你看到了它无限的可能性

00:04:38.511 --> 00:04:39.545
而别人都还没看到

00:04:39.746 --> 00:04:42.015
然后你直接大手一挥低价抄底

00:04:42.148 --> 00:04:43.516
对于这两种人来说

00:04:43.516 --> 00:04:45.018
你买硬件不仅不亏钱

00:04:45.018 --> 00:04:45.685
还赚钱

00:04:45.885 --> 00:04:48.688
我当然不是说硬件接下来还会接着涨

00:04:48.688 --> 00:04:50.957
你们现在立马都要去充一张高端显卡

00:04:50.990 --> 00:04:51.824
绝对不是的

00:04:51.824 --> 00:04:54.260
因为我认为作为消费者我们能赚到的

00:04:54.293 --> 00:04:55.328
终究是少数

00:04:55.561 --> 00:04:57.430
大多数人都是等八手资料

00:04:57.430 --> 00:04:58.264
在社交网络上

00:04:58.264 --> 00:05:00.967
在飞个两三个月才能意识到趋势来了

00:05:01.200 --> 00:05:02.869
届时你看到的价格

00:05:02.869 --> 00:05:06.272
就是那张显卡当下的算力能够体现的价格

00:05:06.272 --> 00:05:07.440
要是回路再长一点

00:05:07.573 --> 00:05:10.677
你看到的时候已经是被黄牛炒到虚高的价格

00:05:10.677 --> 00:05:12.679
所以现在你们也要去买显卡

00:05:12.679 --> 00:05:14.914
买了显卡就可能还会再涨两年

00:05:14.981 --> 00:05:16.549
也可能第二天就开始跌

00:05:16.549 --> 00:05:17.050
我也不知道

00:05:17.283 --> 00:05:18.951
但是如果你买了显卡

00:05:18.951 --> 00:05:21.054
会因为涨了3000块或者跌了3000块

00:05:21.154 --> 00:05:22.155
就不买了

00:05:22.288 --> 00:05:23.723
说明你就不是刚需

00:05:23.823 --> 00:05:25.758
这个卡也没有为你产生什么价值

00:05:25.758 --> 00:05:27.160
所以你大概率就没必要买

00:05:27.160 --> 00:05:28.828
你就用API省心还划算

00:05:28.895 --> 00:05:30.163
因为如果是刚需

00:05:30.196 --> 00:05:32.465
十几万一张的Pro6000都会有人买的

00:05:32.498 --> 00:05:33.966
所以总结下来就是说

00:05:34.067 --> 00:05:34.901
价格这个事情

00:05:35.101 --> 00:05:37.103
没有一种视角是绝对正确的

00:05:37.103 --> 00:05:38.604
因为每个人的需求都不一样

00:05:38.771 --> 00:05:39.772
那么讲完价格

00:05:39.772 --> 00:05:42.275
我们再来说一下本地模型的能力

00:05:42.275 --> 00:05:43.409
很多不关注这方面的朋友

00:05:43.509 --> 00:05:44.744
可能是真的体会不到

00:05:44.811 --> 00:05:47.046
本地模型发展有多迅猛

00:05:47.146 --> 00:05:48.081
就在几个月前

00:05:48.081 --> 00:05:49.549
我这样一台4090的主机

00:05:49.549 --> 00:05:51.684
我用它来部署qwen 3.6 27B

00:05:51.984 --> 00:05:54.087
那个时候这个模型是给我带来了

00:05:54.087 --> 00:05:56.189
它确实给我带来了眼前一亮的感觉

00:05:56.189 --> 00:05:57.657
它相当于一个转折点

00:05:57.724 --> 00:06:00.159
就它越过了那条可用不可用的线

00:06:00.326 --> 00:06:00.760
第一次

00:06:00.760 --> 00:06:03.229
我是在一张消费级显卡上体会到

00:06:03.229 --> 00:06:05.465
一个本地仅有27B的模型

00:06:05.465 --> 00:06:06.799
居然能做那么多事情

00:06:06.999 --> 00:06:08.501
那时候我记得Hermes Agent

00:06:08.601 --> 00:06:09.635
也是刚出来没多久

00:06:09.669 --> 00:06:10.737
我就用本地的Hermes

00:06:10.737 --> 00:06:13.206
再搭配本地的qwen 3.6 27B这个模型

00:06:13.506 --> 00:06:15.174
代替Codex做了好多事情

00:06:15.308 --> 00:06:17.577
当然和Codex里面的GPT比起来

00:06:17.577 --> 00:06:19.645
差距也是实打实的很明显的

00:06:19.645 --> 00:06:21.147
你用它来做一些本地的小任务

00:06:21.147 --> 00:06:21.681
是没什么问题

00:06:21.781 --> 00:06:23.850
但是一旦干那种长链任务

00:06:23.850 --> 00:06:25.218
它干到一半还是会飘

00:06:25.318 --> 00:06:26.652
如果你不开MTP的话

00:06:26.652 --> 00:06:30.056
我记得一开始配好就有二三十token每秒

00:06:30.056 --> 00:06:31.758
后来我是研究优化配置

00:06:31.758 --> 00:06:32.792
然后又换框架

00:06:32.792 --> 00:06:33.593
然后开了MTP

00:06:33.826 --> 00:06:34.727
好的情况下

00:06:34.894 --> 00:06:35.928
也就五六十

00:06:36.162 --> 00:06:39.232
然后上下文是只能开到100K左右的

00:06:39.298 --> 00:06:41.200
然而仅仅过了不到半年

00:06:41.200 --> 00:06:42.168
才4个月

00:06:42.368 --> 00:06:44.203
现在qwen 3.8 27b出来

00:06:44.203 --> 00:06:45.238
然后新的推理框架

00:06:45.238 --> 00:06:46.239
比如说ninfer出来

00:06:46.439 --> 00:06:49.041
llama.cpp也是迎来了很大的更新

00:06:49.308 --> 00:06:50.877
现在基本是开箱即用

00:06:50.877 --> 00:06:52.311
然后同样的显卡

00:06:52.345 --> 00:06:54.480
我能优化到100多Token每秒

00:06:54.480 --> 00:06:56.549
上下文也是开到256K

00:06:56.549 --> 00:06:57.683
塞满也不会飘

00:06:57.784 --> 00:06:59.051
这边可以加一个资料

00:06:59.085 --> 00:07:00.486
最后就是我开头说的

00:07:00.486 --> 00:07:02.321
我要让qwen 3.8 27b 一把的NAS

00:07:02.388 --> 00:07:04.757
改造成一个用memorybear的记忆库的

00:07:04.757 --> 00:07:05.491
这样一个任务

00:07:05.491 --> 00:07:06.926
这个任务其实非常的复杂

00:07:06.926 --> 00:07:07.927
要涉及到NAS

00:07:07.927 --> 00:07:09.128
局域网云服务器

00:07:09.362 --> 00:07:10.830
然后还有自制的Gateway等等

00:07:10.963 --> 00:07:11.564
很多方面

00:07:11.697 --> 00:07:13.232
以及涉及到NAS的隐私

00:07:13.232 --> 00:07:14.233
还有安全性的问题

00:07:14.400 --> 00:07:16.202
在整个部署的过程中的遇到问题

00:07:16.202 --> 00:07:17.737
它还是要自主的去排查

00:07:17.737 --> 00:07:18.604
还有搜索网络

00:07:18.771 --> 00:07:20.106
像这样一个巨大的任务

00:07:20.106 --> 00:07:21.040
我是用云端的

00:07:21.040 --> 00:07:23.176
qwen 3.8 Max和GPT

00:07:23.376 --> 00:07:24.377
给它做了一个Plan

00:07:24.644 --> 00:07:26.446
然后一旦我把Plan给到位了

00:07:26.546 --> 00:07:27.647
qwen 3.8 27b

00:07:27.647 --> 00:07:30.416
它自己是能在后台工作好几个小时

00:07:30.416 --> 00:07:32.919
而且完美的完成每一个中间phase

00:07:33.052 --> 00:07:33.686
这样一个任务

00:07:33.686 --> 00:07:35.388
我从头到尾没有开新session

00:07:35.388 --> 00:07:36.622
就是截图里的这个

00:07:36.756 --> 00:07:38.424
比如说连续三小时的长连任务

00:07:38.424 --> 00:07:39.826
在之前好几个部署

00:07:39.892 --> 00:07:41.661
也都是一小时两小时起步的

00:07:41.661 --> 00:07:42.228
在那之后

00:07:42.228 --> 00:07:44.230
我也是又跑了好几个小时连续的

00:07:44.330 --> 00:07:46.232
我是直接把上下文开到256K

00:07:46.232 --> 00:07:47.567
就随它跑随它压

00:07:47.567 --> 00:07:49.001
几十轮上千步

00:07:49.068 --> 00:07:50.002
完全不会飘

00:07:50.002 --> 00:07:51.137
不会崩速度稳定

00:07:51.137 --> 00:07:53.039
在大概90到100tokens每秒

00:07:53.172 --> 00:07:54.607
就太离谱了

00:07:54.607 --> 00:07:55.675
太爽了

00:07:55.741 --> 00:07:56.209
题外话

00:07:56.209 --> 00:07:58.077
我现在是把它放在Codex里面用的

00:07:58.077 --> 00:07:59.579
我觉得目前我用下来

00:07:59.579 --> 00:08:01.180
是Codex是最好用的

00:08:01.214 --> 00:08:03.082
hermes agent做的还是好

00:08:03.082 --> 00:08:03.783
很稳很稳

00:08:03.783 --> 00:08:04.517
那么话说回来

00:08:04.517 --> 00:08:05.384
这种级别的任务

00:08:05.384 --> 00:08:06.786
如果你在四个月前

00:08:06.786 --> 00:08:09.021
就qwen 3.6 27B那个时代

00:08:09.021 --> 00:08:09.589
你跟我说

00:08:09.655 --> 00:08:10.923
我们做个本地小模型

00:08:10.923 --> 00:08:12.825
就3.6的下一代

00:08:12.825 --> 00:08:13.860
就已经可以做到

00:08:13.860 --> 00:08:16.095
自主推进好几个小时的任务

00:08:16.095 --> 00:08:16.963
并且成功

00:08:16.963 --> 00:08:19.098
那我会觉得你有幻觉了

00:08:19.098 --> 00:08:20.867
而且它任务完成的质量好

00:08:20.867 --> 00:08:22.001
也不是我随口说说的

00:08:22.001 --> 00:08:23.803
就是你把它交给云端顶级模型

00:08:23.903 --> 00:08:25.204
他们看了都说好

00:08:25.204 --> 00:08:27.740
那么下一点就是关于API的稳定性

00:08:27.740 --> 00:08:29.308
就为API万一炸了怎么办

00:08:29.308 --> 00:08:30.710
这种事情不常发生

00:08:30.710 --> 00:08:31.878
但是一旦发生了

00:08:31.878 --> 00:08:33.045
是真的要命的

00:08:33.045 --> 00:08:34.680
我自己也是经历过好几次了

00:08:34.680 --> 00:08:36.148
就是云端AI突然炸了

00:08:36.148 --> 00:08:36.782
连不上了

00:08:36.883 --> 00:08:38.551
就在我一边写这篇稿子

00:08:38.584 --> 00:08:41.020
一边在推另外一个自动剪辑的任务的时候

00:08:41.287 --> 00:08:42.288
OpenAI炸了

00:08:42.288 --> 00:08:44.190
它自己内部应该是在进行一个更新

00:08:44.190 --> 00:08:45.625
反正就在好久都用不了

00:08:45.691 --> 00:08:48.227
包括我之前用OpenCode的时候也炸过

00:08:48.227 --> 00:08:51.163
然后再用DeepSeek官方的API的时候也炸过

00:08:51.163 --> 00:08:51.998
对于我个人而言

00:08:51.998 --> 00:08:53.866
我现在大部分工作室没有AI

00:08:53.866 --> 00:08:55.635
就完全没有办法推进了

00:08:55.768 --> 00:08:57.637
当然当OpenAI炸了的时候

00:08:57.703 --> 00:08:59.605
DeepSeek不会说也同时炸了

00:08:59.605 --> 00:09:01.574
这种情况是很少发生的

00:09:01.707 --> 00:09:04.243
你完全可以切换到别的服务商去用

00:09:04.277 --> 00:09:06.612
但是如果是你自己的网络炸了

00:09:06.679 --> 00:09:07.680
谁来替你排查

00:09:07.713 --> 00:09:08.548
谁来替你干活

00:09:08.848 --> 00:09:11.317
所以现在在本地有一个4090级别

00:09:11.317 --> 00:09:13.819
再加上qwen 3.8 27b这个级别的算力

00:09:13.853 --> 00:09:14.787
对于我个人而言

00:09:14.787 --> 00:09:16.622
说是一个非常安心的保险

00:09:16.722 --> 00:09:18.291
我知道就即便出了任何事情

00:09:18.357 --> 00:09:20.159
只要不是整个世界都断电了

00:09:20.159 --> 00:09:21.794
我就还有一个算力可以用

00:09:21.794 --> 00:09:22.929
最后再简单提一下

00:09:22.929 --> 00:09:24.063
就很多朋友会关心的

00:09:24.063 --> 00:09:25.765
非常担心的部署的问题

00:09:25.932 --> 00:09:28.367
大家可能会觉得本地模型是不是超级复杂

00:09:28.367 --> 00:09:30.169
自己是不是要会编程才能玩

00:09:30.202 --> 00:09:32.271
这些说实话都没有担心的必要了

00:09:32.338 --> 00:09:34.740
四个月前qwen 3.6的那个时代

00:09:34.740 --> 00:09:36.842
我觉得确实是要一点动手能力的

00:09:37.009 --> 00:09:39.478
你自己要理解比较多的计算机基础的东西

00:09:39.478 --> 00:09:41.347
因为那时候的大模型还有Agent

00:09:41.347 --> 00:09:43.816
以及Harness都没有现在这么强的

00:09:43.883 --> 00:09:45.618
自主长链任务的能力

00:09:45.618 --> 00:09:47.586
那时候你要配置VLLM什么的是真的

00:09:47.586 --> 00:09:49.555
我自己又进终端手搓的

00:09:49.822 --> 00:09:51.857
当然是和AI一边聊天

00:09:51.924 --> 00:09:53.326
一边当Prompt的搬运工

00:09:53.559 --> 00:09:55.661
但整个流程就是非常繁琐

00:09:55.661 --> 00:09:57.196
要各种排错各种研究

00:09:57.196 --> 00:09:58.831
而现在不管是用comfy UI

00:09:58.831 --> 00:10:00.399
还是本地的语言大模型

00:10:00.399 --> 00:10:02.101
你随便找个云端API

00:10:02.101 --> 00:10:04.437
就比如说DeepSeek V4.1 Flash这种级别的

00:10:04.437 --> 00:10:05.304
再用hermes agent

00:10:05.371 --> 00:10:06.339
你就让它给你配

00:10:06.672 --> 00:10:08.307
两三句话的事情配好了

00:10:08.441 --> 00:10:09.075
配置好之后

00:10:09.075 --> 00:10:11.210
你就让它根据你的硬件去做测试

00:10:11.377 --> 00:10:13.479
它顺时就能自己自主跑一整天

00:10:13.646 --> 00:10:15.214
然后把你的硬件情况下

00:10:15.214 --> 00:10:17.216
你最好的参数全都给你试出来

00:10:17.316 --> 00:10:20.419
所以配置的门槛其实也是一直在下降的

00:10:20.486 --> 00:10:21.320
OK 最后

00:10:21.420 --> 00:10:22.521
其实我想说的是

00:10:22.521 --> 00:10:24.223
我并不认为每一个人

00:10:24.223 --> 00:10:26.258
都需要去部署自己的本地大模型

00:10:26.459 --> 00:10:28.461
我甚至不认为每个人都要去用AI

00:10:28.527 --> 00:10:30.563
我也不认为每个人都要去用电脑

00:10:30.663 --> 00:10:31.630
每个人都要去开车

00:10:31.797 --> 00:10:33.332
大家都有自己的生活方式

00:10:33.332 --> 00:10:34.800
你觉得怎么舒服怎么来

00:10:34.800 --> 00:10:35.334
对吧

00:10:35.534 --> 00:10:35.968
普通用户

00:10:36.068 --> 00:10:37.103
你偶尔问几个问题

00:10:37.203 --> 00:10:38.304
一天花个几万Token

00:10:38.404 --> 00:10:40.506
你有必要为这件事情去买个显卡吗

00:10:40.706 --> 00:10:41.507
不必吧

00:10:41.507 --> 00:10:43.476
或者你是做公司的工作

00:10:43.476 --> 00:10:44.877
你写代码虽然写的很多

00:10:44.877 --> 00:10:46.912
但是你公司会给你报销API费用

00:10:46.912 --> 00:10:48.914
或者给你买200美金一个月的Token plan

00:10:49.148 --> 00:10:49.849
那也很爽

00:10:49.849 --> 00:10:50.916
你也没有必要搞本地

00:10:51.083 --> 00:10:53.085
本地AI它是一个拥有权

00:10:53.085 --> 00:10:54.653
但同时也是一个取舍

00:10:54.653 --> 00:10:55.821
是一种妥协

00:10:56.088 --> 00:10:57.657
你要用一个更弱的模型

00:10:57.657 --> 00:10:58.824
你要自己去部署

00:10:58.824 --> 00:11:00.526
去维护麻烦的事情

00:11:00.760 --> 00:11:01.927
它还很吵

00:11:02.061 --> 00:11:02.828
噪音很大

00:11:02.828 --> 00:11:03.996
还有放热

00:11:04.163 --> 00:11:05.631
夏天的时候就是开着空调

00:11:05.664 --> 00:11:07.900
你都会觉得房间里面有种桑拿的感觉

00:11:07.900 --> 00:11:08.801
但是我个人

00:11:08.801 --> 00:11:09.802
我所有的创作

00:11:09.802 --> 00:11:10.936
包括我公司的管理

00:11:10.936 --> 00:11:13.072
包括各种乱七八糟的杂物

00:11:13.172 --> 00:11:14.707
全都是交给Agent去办的

00:11:14.707 --> 00:11:16.208
所以本地算力对于我来说

00:11:16.208 --> 00:11:18.377
是一个相当有必要的基础设施

00:11:18.544 --> 00:11:19.845
对于你自己的用途人员

00:11:19.845 --> 00:11:22.181
它也有可能是一个很合理的选择

00:11:22.181 --> 00:11:23.249
而最后的最后

00:11:23.249 --> 00:11:23.916
我想说的是

00:11:23.916 --> 00:11:25.751
所有事情都是图个开心而已

00:11:25.818 --> 00:11:27.386
本地部署一个AI大模型

00:11:27.386 --> 00:11:28.421
对于我个人来说

00:11:28.421 --> 00:11:30.523
是一个非常让我开心

00:11:30.523 --> 00:11:32.091
让我觉得非常好玩的事情

00:11:32.091 --> 00:11:33.359
就跟自己装电脑

00:11:33.359 --> 00:11:34.860
或者说自己修车一样

00:11:34.960 --> 00:11:37.496
我自己折腾的每分每秒都是在享受

00:11:37.697 --> 00:11:39.031
所以如果你喜欢类似的话题

00:11:39.031 --> 00:11:40.166
有空欢迎再来听我唠嗑

00:11:40.166 --> 00:11:40.933
我们下期再见