逐字稿文字預覽
OK 今天我们来讲一下 为什么要部署本地大模型 每次我做关于本地模型的视频 都会看到评论区 有一些朋友不理解 就问你本地模型的意义是什么 DeepSeek一个月用下来才多少钱 现在买硬件 你可能要好几年才能回本 然后还要花时间折腾 然后本地模型又没有云端模型 速度快 也没有云端模型的质量好 那么今天我正好是在用本地的 qwen 3.8 27b帮我把NAS改造成 一个专门给我的云端和本地的AI 用的共享记忆库 所以就想趁机跟大家聊一下我的想法 那么首先就是隐私 隐私是当下用本地大模型最重要的理由 那么我这个NAS里面是有很多的私人的照片 我很多私人的文件 同时为了把整个NAS从底层改造成一个安全的 适合用来给我的云端Agent 还有我的本地Agent 共用的这样一个记忆库 数据库 知识库 我还是需要给我的Agent 全权限的SSH进去做很多操作 所以首先在对模型的选用上 直接一棒子就把所有云端API给打死了 那有的朋友可能就要说了 在线的很多API都是明确写了的 就是不会用你的数据去训练的 你要是真的信 我也只能就尊重你的想法 我们就假设 假设测试真的 他不会选择你的数据进行训练 你发过去的数据 他是一点都不关心 真的一点都不看 良心爆棚 阅后即焚 但是你的风险不仅仅是说你的隐私 会被上传到云端 因为在你自己的局域网里面 连着这么多台电脑 手机等等设备 agent 一个拥有root权限的agent 它是会遍历你整个文件系统的 所有文件系统 不是说你让他读什么 他就只读什么的 他是自己会去搜索记录 也可能会擅自去访问你的敏感信息 虽然我也觉得我的数据可能就不止几块钱 我又不是什么正在攻克最前沿的 数学难题的数学家 不用怕被剽窃点子 但同时我也觉得大模型的云服务商 他们最喜欢的就是用户的这种想法 你觉得不值钱的东西 在他们看来有可能是非常值钱 所以在做这一类 在局域网里面给他全线做工作的时候 比起把数据送到一个嘴很甜 但小动作可能不干净的云服务上 我的做法是把AI直接放在我的数据旁边 然后把他们照起来让他们出不去 那么隐私是使用本地大模型最大的 也是最一刀切的理由 但它并不是所有理由 接下来我还想从金钱速度还有质量的角度 再扒开来跟大家聊聊我的想法 先说金钱 比如说DeepSeek是我用的最多的模型 我很喜欢这个模型 但是中间一段日子 它要涨价就涨价 可能是用的太多了 真的很霸道就是说 而且涨的不是一星半点 那个涨价是直接可以让我的API费用 从以前一个月300块人民币 直接暴涨到一个月1000多人民币的那种涨价 你怎么办 它后来现在又更新了DeepSeek V4.1 flash价格又降下来了 但降价之后仍就是比涨价之前还要贵的 也仍就是比本地部署AI的电费要贵 贵得多 按照我自己的用量一个月电费大概是200块钱 但国内的朋友电价是我这边的三分之一 也就是六七十块电费就够了 那这时候也有的小伙伴要说了 您这本地硬件也是要钱的 更何况现在显卡这么贵 内存也这么贵 你想整一台AI主机 那不得好几万块吗 这句话对也不对 就如果你现在在这个时间点 像从零开始整一台用的相对舒服的AI主机 比如说3090 4090甚至5090 或者AMD AI PRO R9700或者7900XTX 确实很贵 假设你两万块钱配一套主机 掐指一算 也够你API用个两三年了 而且这两三年你都一直可以用在线的 最新的最好的比本地能力更强的大模型 然而这笔账你还能反过来算 就比如说我当时买我的4090的时候是1万块钱出头 几年过去 含泪血赚一倍 还有比如说7900XTX这种AMD的显卡 在它的生态起来之前 它是只用5000来块钱 而现在它被各路开源的大神优化好了 价格也就涨上去了 涨了好几千块钱 这时候你再去买它 划不划算呢 我觉得非常见仁见智 因为当时它只有5000块钱 是因为它本来速度就慢 一如它只有5000块钱的价值 而现在它涨价了 是因为它的价值变高了 大家都意识到A卡被优化好了 居然还这么好用 所以显卡它的价格早就已经被它的算力提前定价了 这时候你想买到便宜的算力 只有两种可能 一种就是像我运气好 我本身当时就是有做3D方面的相关的工作的需求 才买到4090 我也没有想到有一天这张卡居然会能拿来跑本地AI 还有一种就是你真的非常有远见 你成天泡在社区 非常懂技术 第一时间能了解到某个框架的突然炸裂优化 你看到了它无限的可能性 而别人都还没看到 然后你直接大手一挥低价抄底 对于这两种人来说 你买硬件不仅不亏钱 还赚钱 我当然不是说硬件接下来还会接着涨 你们现在立马都要去充一张高端显卡 绝对不是的 因为我认为作为消费者我们能赚到的 终究是少数 大多数人都是等八手资料 在社交网络上 在飞个两三个月才能意识到趋势来了 届时你看到的价格 就是那张显卡当下的算力能够体现的价格 要是回路再长一点 你看到的时候已经是被黄牛炒到虚高的价格 所以现在你们也要去买显卡 买了显卡就可能还会再涨两年 也可能第二天就开始跌 我也不知道 但是如果你买了显卡 会因为涨了3000块或者跌了3000块 就不买了 说明你就不是刚需 这个卡也没有为你产生什么价值 所以你大概率就没必要买 你就用API省心还划算 因为如果是刚需 十几万一张的Pro6000都会有人买的 所以总结下来就是说 价格这个事情 没有一种视角是绝对正确的 因为每个人的需求都不一样 那么讲完价格 我们再来说一下本地模型的能力 很多不关注这方面的朋友 可能是真的体会不到 本地模型发展有多迅猛 就在几个月前 我这样一台4090的主机 我用它来部署qwen 3.6 27B 那个时候这个模型是给我带来了 它确实给我带来了眼前一亮的感觉 它相当于一个转折点 就它越过了那条可用不可用的线 第一次 我是在一张消费级显卡上体会到 一个本地仅有27B的模型 居然能做那么多事情 那时候我记得Hermes Agent 也是刚出来没多久 我就用本地的Hermes 再搭配本地的qwen 3.6 27B这个模型 代替Codex做了好多事情 当然和Codex里面的GPT比起来 差距也是实打实的很明显的 你用它来做一些本地的小任务 是没什么问题 但是一旦干那种长链任务 它干到一半还是会飘 如果你不开MTP的话 我记得一开始配好就有二三十token每秒 后来我是研究优化配置 然后又换框架 然后开了MTP 好的情况下 也就五六十 然后上下文是只能开到100K左右的 然而仅仅过了不到半年 才4个月 现在qwen 3.8 27b出来 然后新的推理框架 比如说ninfer出来 llama.cpp也是迎来了很大的更新 现在基本是开箱即用 然后同样的显卡 我能优化到100多Token每秒 上下文也是开到256K 塞满也不会飘 这边可以加一个资料 最后就是我开头说的 我要让qwen 3.8 27b 一把的NAS 改造成一个用memorybear的记忆库的 这样一个任务 这个任务其实非常的复杂 要涉及到NAS 局域网云服务器 然后还有自制的Gateway等等 很多方面 以及涉及到NAS的隐私 还有安全性的问题 在整个部署的过程中的遇到问题 它还是要自主的去排查 还有搜索网络 像这样一个巨大的任务 我是用云端的 qwen 3.8 Max和GPT 给它做了一个Plan 然后一旦我把Plan给到位了 qwen 3.8 27b 它自己是能在后台工作好几个小时 而且完美的完成每一个中间phase 这样一个任务 我从头到尾没有开新session 就是截图里的这个 比如说连续三小时的长连任务 在之前好几个部署 也都是一小时两小时起步的 在那之后 我也是又跑了好几个小时连续的 我是直接把上下文开到256K 就随它跑随它压 几十轮上千步 完全不会飘 不会崩速度稳定 在大概90到100tokens每秒 就太离谱了 太爽了 题外话 我现在是把它放在Codex里面用的 我觉得目前我用下来 是Codex是最好用的 hermes agent做的还是好 很稳很稳 那么话说回来 这种级别的任务 如果你在四个月前 就qwen 3.6 27B那个时代 你跟我说 我们做个本地小模型 就3.6的下一代 就已经可以做到 自主推进好几个小时的任务 并且成功 那我会觉得你有幻觉了 而且它任务完成的质量好 也不是我随口说说的 就是你把它交给云端顶级模型 他们看了都说好 那么下一点就是关于API的稳定性 就为API万一炸了怎么办 这种事情不常发生 但是一旦发生了 是真的要命的 我自己也是经历过好几次了 就是云端AI突然炸了 连不上了 就在我一边写这篇稿子 一边在推另外一个自动剪辑的任务的时候 OpenAI炸了 它自己内部应该是在进行一个更新 反正就在好久都用不了 包括我之前用OpenCode的时候也炸过 然后再用DeepSeek官方的API的时候也炸过 对于我个人而言 我现在大部分工作室没有AI 就完全没有办法推进了 当然当OpenAI炸了的时候 DeepSeek不会说也同时炸了 这种情况是很少发生的 你完全可以切换到别的服务商去用 但是如果是你自己的网络炸了 谁来替你排查 谁来替你干活 所以现在在本地有一个4090级别 再加上qwen 3.8 27b这个级别的算力 对于我个人而言 说是一个非常安心的保险 我知道就即便出了任何事情 只要不是整个世界都断电了 我就还有一个算力可以用 最后再简单提一下 就很多朋友会关心的 非常担心的部署的问题 大家可能会觉得本地模型是不是超级复杂 自己是不是要会编程才能玩 这些说实话都没有担心的必要了 四个月前qwen 3.6的那个时代 我觉得确实是要一点动手能力的 你自己要理解比较多的计算机基础的东西 因为那时候的大模型还有Agent 以及Harness都没有现在这么强的 自主长链任务的能力 那时候你要配置VLLM什么的是真的 我自己又进终端手搓的 当然是和AI一边聊天 一边当Prompt的搬运工 但整个流程就是非常繁琐 要各种排错各种研究 而现在不管是用comfy UI 还是本地的语言大模型 你随便找个云端API 就比如说DeepSeek V4.1 Flash这种级别的 再用hermes agent 你就让它给你配 两三句话的事情配好了 配置好之后 你就让它根据你的硬件去做测试 它顺时就能自己自主跑一整天 然后把你的硬件情况下 你最好的参数全都给你试出来 所以配置的门槛其实也是一直在下降的 OK 最后 其实我想说的是 我并不认为每一个人 都需要去部署自己的本地大模型 我甚至不认为每个人都要去用AI 我也不认为每个人都要去用电脑 每个人都要去开车 大家都有自己的生活方式 你觉得怎么舒服怎么来 对吧 普通用户 你偶尔问几个问题 一天花个几万Token 你有必要为这件事情去买个显卡吗 不必吧 或者你是做公司的工作 你写代码虽然写的很多 但是你公司会给你报销API费用 或者给你买200美金一个月的Token plan 那也很爽 你也没有必要搞本地 本地AI它是一个拥有权 但同时也是一个取舍 是一种妥协 你要用一个更弱的模型 你要自己去部署 去维护麻烦的事情 它还很吵 噪音很大 还有放热 夏天的时候就是开着空调 你都会觉得房间里面有种桑拿的感觉 但是我个人 我所有的创作 包括我公司的管理 包括各种乱七八糟的杂物 全都是交给Agent去办的 所以本地算力对于我来说 是一个相当有必要的基础设施 对于你自己的用途人员 它也有可能是一个很合理的选择 而最后的最后 我想说的是 所有事情都是图个开心而已 本地部署一个AI大模型 对于我个人来说 是一个非常让我开心 让我觉得非常好玩的事情 就跟自己装电脑 或者说自己修车一样 我自己折腾的每分每秒都是在享受 所以如果你喜欢类似的话题 有空欢迎再来听我唠嗑 我们下期再见
本次執行流程與問題處理
下達指令
預期流程
- 採用來源字幕（略過語音辨識）
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：15.0 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：43.9 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：0.9 秒
關係：依序執行
結果：完成
4. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：1.0 秒
關係：依序執行
結果：完成
5. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：1.0 秒
關係：依序執行
結果：完成
6. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：0.0 秒
關係：依序執行
結果：完成
7. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：0.1 秒
關係：依序執行
結果：完成
8. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：106.2 秒
關係：依序執行
結果：完成
9. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：0.3 秒
關係：依序執行
結果：完成
10. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：0.4 秒
關係：依序執行
結果：完成
手動來源字幕
自動來源字幕
Whisper 字幕
- 尚未產生
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
- 校正前 transcript.source.json 純文字 JSON
- 校正後 transcript.json 純文字 JSON
目前待解決問題與初步改善方向
- 逐字稿全文快速校讀未完成
已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。；RAPID_REVIEW_STATUS=REVIEW_REQUIRED_INVALID_OUTPUT
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。
- 音訊下載不穩定，需更新 cookies / PO token 後重試精進模式。