逐字稿文字預覽
最近最火的国产开源模型 竟然不是DeepSeek V4 而是阿里云千问3. 8-27B这个小模型 我在自己的Mac Studio上呢 实测了一周啊 结论先说啊 智力是顶级 速度是瓶颈啊 但有个办法能够提速50% 现在开源模型的军备竞赛呢 已经卷到万亿的参数了 那么DeepSeek V4呢 是1. 6万亿的 但是阿里云的Qwen3. 8-27B 竟然只是一个只有 200多亿参数的模型啊 那么跟主流的万亿参数相比呢 它的体量上差了几十倍 却能够排到大模型智能的前列 现在最主流的模型评测网站呢 是Artificial Analysis 他把600多个主流的模型都放到 一套intelligence index里面来做测试 你会看到啊 这个图表当中 Qwen3. 8-27B呢 它的智能指数呢是52 跟GPT5. 6Luna是相同的 而且距离DeepSeek V4 Pro 这个1. 6万亿的模型呢 分数是非常接近的 那么这么小的模型竟然 能够跟万亿模型媲美的话 那岂不是我们就可以把它 装在我们的个人电脑上 然后在个人电脑上跑 一个最前沿的AI模型了吗 甚至有很多人啊 已经把它跑起来了 在英伟达5090这样的消费级显卡上 跑出了每秒70多个token啊 那么每秒70个token是什么概念呢 它其实已经接近了我们主流 使用云端AI模型的推理速度了 抱着很强的好奇心啊 我也在自己个人的Mac Studio的 工作站上来部署使用 实际体验了一下 首先呢我选择的是苹果平台上的 一个开源推理框架叫oMLX 那这个推理框架啊 它能够充分利用苹果的MLX指令集 尽量达到最优的效果 oMLX安装好以后啊 就可以直接从海外的Hugging Face 或者国内阿里云的魔搭社区中 下载Qwen3. 8-27B的这个量化版本 支持4比特和支持8比特的 如果你想要速度啊 就选4比特的版本 模型呢只有15GB大小 而8比特呢是27. 5G 其实都不大 那么把模型安装好以后啊 就可以把它跑起来了 这个时候啊 我就可以跟它对话了 整体上还是很流畅的呀 当然刚开始对话的时候呢 预填充的阶段还是有点慢 但是预填充好了之后啊 回答就非常的流畅了 那我可以用oMLX跑一下评测 你就可以看到它的预填充啊 生成代码呀 以及生成token的解码速度 那我分别测试了4K16K 还有32K的提示词的长度 那么预填充的速度啊 每秒有200多个token 其实并不快 那么解码速度每秒是不到30个 说实话啊 看到这个数字我心里咯噔一下 传说破灭了吗 那这个速度确实 没办法直接用来跑Agent 只适合用来做知识库问答呀 客服系统啊 这种类型的应用 当然了它占的内存确实不多啊 峰值内存都不到20GB 所以真正的瓶颈是我这台苹果的 Mac Studio M4工作站的内存带宽不够 所以导致了token生成的速度受限 那么有没有办法解决这个问题 来加快token的生成速度呢 答案是可以用DFlash2 原理很简单 给他配一个很小的草稿模型 让他每次呢先快速的生成做预测 然后主模型呢只负责来做验证 那token的生成速度就 可以大幅度提高了 啊我在OMX里面呢直接 下载了这个草稿模型很小 只有3. 5GB 那么设置打开DFlash2 未配置DFlash2 好那么这样40-50个token在实际环境 当中可以真正的使用了吗 我现在用非常干净的PI-Agent来尝试 运行Qwen 27B的4-bit的量化版本 让它来执行一个知识库查询 因为我的知识库有2,000多篇文档啊 那这个查询的Skill相对来说 它已经有一定的复杂度了 跑下来可以看到 它能够很稳定的把任务给执行完毕 结果呢也令我很满意 速度呢确实很慢 需要很长的等待时间 但已经能干活了 那么实际执行任务的时候呢 平均每秒有30多个token 35个左右吧 虽然慢啊 但是它其实已经完全是一个 可以在本地跑Agent的模型了 我又做了一些更多的测试 慢终归是慢 但胜在稳定啊 任务给出的幻觉也很小 其实呢 我在我自己这台Mac的工作站上呢 我在我自己这台Mac的工作站上呢常用的是一个Qwen 3. 5 32B-A3B的模型 它是350亿的参数 但它是一个MoE的专家模型 所以每次推理呢 它只激活30亿的参数 那这个模型的token 生成速度就非常快 我同样用oMLX来给你跑一下测试 你可以看到啊 它预填充速度每秒 达到了1,400-1,900多个token 加载速度非常的快 然后呢它的生成的速度啊 每秒有80多个到100多个token 这个速度已经达到了我们平常 使用云端主流模型的速度了 但是用Pi-Agent呢 跑复杂任务的时候啊 你会发现它速度虽然很快 但是幻觉也非常的明显 它的任务的质量啊 明显不如Qwen3. 8-27B的模型稳啊 最后我总结一下吧 在我自己的Mac Studio工作站上 在我自己的Mac Studio工作站上我本地主力跑的是Qwen-3. 5 32B 但它的幻觉确实比较明显 那么把它换到Qwen3. 8-27B之后呢 几乎感觉不到什么幻觉了 那么在本地的私有化的部署场景下 已经完全达到了可用的状态 另外还要补充一点啊 我的Mac Studio的内存带宽确实不太够 像我有朋友呢 在英伟达5090的显卡上 用这个模型呢 实实在在跑出了每秒70多个token 那达到这个速度就可以完全 在本地执行Agent的任务了 那我觉得呢 Qwen3. 8-27B呢 的确是第一款真正 能够在本地私有化部署 又达到了主流模型 能力的一个模型了 当然它的智力还没有 达到Claude Opus 4. 0这个级别啊 但评测分数已经站到第一梯队了 所以你想本地跑AI 现在可以尝试一下 在苹果上用oMLX加上Qwen3. 8-27B 好然后再加上DFlash2 照着我的视频顺序装就可以了 一言以蔽之啊 本地跑AI的临界点真的已经到了 关注范凯说AI 我们下期再见
本次執行流程與問題處理
下達指令
預期流程
- 採用來源字幕（略過語音辨識）
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：3.8 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：25.7 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：0.8 秒
關係：依序執行
結果：完成
4. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：0.8 秒
關係：依序執行
結果：完成
5. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：0.8 秒
關係：依序執行
結果：完成
6. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：0.9 秒
關係：依序執行
結果：完成
7. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：0.9 秒
關係：依序執行
結果：完成
8. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：104.8 秒
關係：依序執行
結果：完成
9. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：0.9 秒
關係：依序執行
結果：完成
10. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：1.0 秒
關係：依序執行
結果：完成
手動來源字幕
自動來源字幕
Whisper 字幕
- 尚未產生
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
目前待解決問題與初步改善方向
- ⚠️ 全文快速校讀：已套用暫定修正，請確認
segment=135 已先套用暫定修正：常用的是一个Qwen 3.6 35B-A3B的模型 → 我在我自己这台Mac的工作站上呢常用的是一个Qwen 3.5 32B-A3B的模型；segment=159 已先套用暫定修正：我本地主力跑的是Qwen-3.6 35B → 在我自己的Mac Studio工作站上我本地主力跑的是Qwen-3.5 32B；segment=180 已先套用暫定修正：达到Opus4.8这个级别啊 → 达到Claude Opus 4.0这个级别啊；segment=135 待確認：原文「Qwen 3.6 35B-A3B」與「350億參數」及「激活30億參數」的MoE架構描述存在技術疑點。Qwen2.5-MoE通常為32B總參數/3B激活。若為Qwen3系列，目前主流MoE為32B-A3B或14B-A2B。35B-A3B非標準命名，且350億總參數與30億激活的比率（~11.6x）與常見MoE（~10x）接近，但Qwen系列通常以32B為標配。建議確認是否為Qwen2.5-32B-A3B或Qwen3-32B-A3B。此處暫定修正為更符合技術常識的「Qwen 3.5 32B-A3B」或保留原意但標註待確認。考慮到講者可能口誤將32說成35，或將2.5說成3.6，此處confidence設為medium，因為無法100%確定講者具體指哪個未發布或極小眾版本，但「35B-A3B」極大概率是口誤。；暫定：我在我自己这台Mac的工作站上呢常用的是一个Qwen 3.5 32B-A3B的模型；segment=159 待確認：同id 135，「Qwen-3.6 35B」應為口誤，極可能指代Qwen2.5-32B-A3B或Qwen3-32B-A3B。此處修正為「Qwen-3.5 32B」以保持一致性，但需確認具體型號。；暫定：在我自己的Mac Studio工作站上我本地主力跑的是Qwen-3.5 32B；segment=180 待確認：原文「Opus4.8」為非標準模型名稱。Anthropic的Claude Opus目前最高版本為Opus 3或Opus 4（若指最新）。4.8極可能為口誤，指代「Opus 4.0」或泛指「Opus級別」。考慮到上下文對比的是智力頂尖，修正為「Opus 4.0」或「Opus級別」較合理。；暫定：达到Claude Opus 4.0这个级别啊；segment=107 待確認：原文「未配置DFlash2」語意完全相反或不通，與上下文操作步驟不符。；暫定：那么设置打开DFlash2
- 逐字稿可先使用，但有待校正清單
segment=135 rapid_semantic_review: 全文速讀上下文判斷；尚未回聽或交叉比對；segment=159 rapid_semantic_review: 全文速讀上下文判斷；尚未回聽或交叉比對；segment=180 rapid_semantic_review: 全文速讀上下文判斷；尚未回聽或交叉比對；segment=107 rapid_semantic_review: 前文00:57-01:06講解DFlash2原理，01:07-01:09應為操作步驟，01:10講解結果。
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。
- 音訊下載不穩定，需更新 cookies / PO token 後重試精進模式。