逐字稿文字預覽
M5 Pro去完成了5個維度的本地AI測試。到底它能做些什麼?我們這期把它講清楚。我發現關於MacBook的測評卻少之又少。我認為MacBook在本地AI的部署上面還是比較有優勢的。我在我的官網上進行過文章的詳細分析。從硬件能力相關的,比如價格、推理的速度、減存的使用,包括內昏、帶寬、美麗進行了分析。那麼有詳細的數據。感興趣的話可以參考去官網上面相關的文章去看一看。當然我的公眾號上也有同步的文章。 网上的视频 然后他们都很少涉及到一个维度 就是这个噪音 觉得这个噪音其实挺重要的 如果你是在家里使用的话 这个分贝的噪音其实挺繁人的 在一般人的家里都不会特别大 可能如果空间小的话 你总是有这么一个设备 一只呜呜的声音 特别吵人的话 你就算再高的设备 我觉得有的人觉得可能也没法用 MacBook Pro呢 我的一个感觉就是 它的这个噪音控制是确实惊艳 第一部分是最常见的 LLM的文字处理能力 那么本次使用的模型具体的有四个 两个GAM4和两个Queen 3.6 那么它的架构和相关的数据都在这 发现就是他们的推理速度还是非常可用的 尤其是GAM4的E4B模型和这个千万三的35B MOE模型 那么虽然这个E4B是一个Dance 也就是稠密结构的模型 但是呢因为它的每次激活是大概有4B的这个参数 所以它的推理速度也是相当快 我之前使用的经验 我发现在具体使用上 GAMMA模型它的图形的夜能力 比千万3.6是高一些 同时我还测量了所谓的月域能力 也就是BrokerJag的能力 BrokerJag应该就是方便生成一些 容易造成误判的一些内容 包括像一些踩在边界上的内容 那么在线模型可能生成起来困难 这个本地生成起来相对就容易很多 在具体的测试题目上 我是用这个Cloud生成了一些测试题目 然后让他帮着完全全自动测试 内容特别多 我就不一个一个展示所有的这个答案了 然后这是一些具体的数据 总体给我的感觉是这样的 它的题目都能比较好的完成预定的效果 比如说像有分苹果的 然后分几个的简单的这种盘数 包括求函数的这种数学题 或写代码的这种效果 或修复bug 包括判断说真假话推理过程 或解释一些话 然后用看看具体的执行的能力等等 就后续的这些答案呢 我后期将会逐渐整理 也去把它放到我这个模型测试的 这个页面的后边供您参考 第二个我测试的是TTS语音 语音和声能力 这里边呢 我目前搜索的资料是这样的 它有两种架构 一个是原声支持MLX 这个METAL加速功能的这个架构 那么它的速度稍微快一些 还有一种是直接用原声这个格式的 不是支持这个METAL加速的 那么它俩有一个区别 原声支持加速的呢 它在这个进行声音克隆的时候呢 它是没有那个功能的 只能支持文字描述声音 那换句话说就是 你用一段话去让它生成一个你想要的声音 它根据了你描述的话去生成 然后速度还是比较快的 它因为没有真正的实现具体声音克隆 所以只能用另一个叫千万三的Base模型 这个模型是原版的 它的速度稍微慢一些 格式呢不是最快的 有意思发现就是 直接用Voice Design 也就是描述生成这个音频功能呢 它的速度反而还比这个声音可能要慢一些 不知道这是因为 为什么 可能是因为处理架构上的音 需要注意的是它有一个bug 就是截取的那个具体参考的参数 所你截取的音频是需要匹配 另外一个五秒即可 如果这个内容特别多 或者它两者比匹配的话 会生成一些乱码 真人的录音 我们听一听这个录音 叫做正算赤 复算黑 赤就是红色 我们这次听一下 它克隆完毕之后的声音的感觉 大家可以听到 这个克隆的声音简直是一家论真 几乎听不出任何的区别 TTLS语音合成功能上 我觉得还是相当强大 第三点 看图片生成能力 我这里选用的是质量非常高的 这个Fluzy1的DV1的模型 后侧的是两方面 一个是直接生成图片 另一个是使用Laura 那么具体的生成时间在这里 风景这个图片生成的时候呢 它因为需要进行这个冷启动 然后注入参数 所以它的生成速度是最慢的 然后接下来速度就相对来说稳定很多 大概生成一幅像1024x1024 也就是它的分辨率相对较高的情况下 每一幅的图片大概是用到的 71分到11分 直接用Laura进行稳定 这个真人图片克隆的情况下 也是大概这个相同的速度 看一下结果 第一个是风景 我们看到这些细节给人的感觉还是非常不错的 效果很好 赛博朋克的业绩 专业商务人像 比较抽象的液态金属 产品设计度光影 还是非常不错的 比较好的执行了我需要的这个要求 我之前没有任何训练经验 所以我就自己 我就自己随意拍了很多照片 各种角度 各种的方向 然后各种场景 尽量穿不同的衣服 然后装束尽量去不一样 然后拍摄了远近各种各样的照片 数量是60多张 然后加在一块 所用的触发词 这里的触发词就是一个所谓比较生辟的词 然后帮助触发这个人像 使用的相关参数是scale等1.0 是第一张商务头像 这个可以看起来 就是样子是不戴眼镜的 是我本人可能有这个送眉的习惯 它这个地方呢 就特别明显的捕捉到 然后剩下两边 我这个因为现在正在处于一直控制提供的状态下 所以胖瘦呢有时候不太一定 像这张照片就生成的稍微胖一点 然后这张也是 这是戴眼镜 大家看到我俩现在的样子 就先回来的 这个是科技演讲 然后科技演讲的呢 它那个侧面我发现的 因为我可能我给它的样子 侧面的照片特别多 所以这个侧面我觉得还非常非常像 然后但是有一个问题 它出现了比较严重的幻觉 就是这个手出现了多个 然后并且胸口这有一个 我给它的提示词 它就伸透出来了 HIFENTAGE 这次生成呢 我是直接 不管它生成出什么来 我全原样展示出来 所以这是不是经过我选择的 这就是直接一次性的 所以等于 我觉得成功率相对来说 还是可用的 非常可用的 可能得分场景 然后可能稍微抽抽卡 一系列的大家看到 经过我多次生成之后 生成出来的这个人像的样子 基本上是大概六成吧 我把四成那个删除了 六成之后我生成出来的样子 是这个视频生成这个部分 那么大致是两类 一类是完成视频 还有一类是图生视频 然后它的方式呢 有两类 一类是蒸馏模式 速度快 还有一类是图碎 是两阶段模式 速度迈起 它俩之间的速度相差比较明显的 左侧是蒸馏版 右侧是这个 所谓更加精细的两阶段版本 速度相差4-5倍吧 两种版本各生成力 总的先说是第一个城市街道 这个是蒸油版生成的 明显这个描述是让它生成城市街道 但是呢 它生成了一个室内景 有车库刚才有白色人物 跟那个城市街道的明显偏离了 所以理解确实有问题 第二个城市街道呢 两街道版本 确实生成的街道有了提升 然后有人了 然后有人群了 有建筑物了 然后时间也增大了很多 但是呢 这是夜间警官 它稍微理解有点问题 这点是有点缺陷 第二组是科技实验室 在科技实验室里边 这个生长力力度女人 剩下完全的要素 基本上没有体现出来 像手啊 键盘啊 灯光啊 实验室这种感觉啊 兩接的版本,生成了一個這樣的視頻。一個類似於科技人員把它腳化。有點像保安或者快遞啊。 然後它生成了這些像手臂啊、屏幕這種樣子。接近了描述的樣子。 但是核心动作包括这种感觉是没有的 我也发现了 好像STS模型对于生成纯风景 或者纯那种建筑物之类的那种模式 他经常愿意加人进去 就每一个都要有点人 可能比较富有人性 这是他的问题 为了去改变这个问题 我发现的办法就是用无声视频的方式 给他一些图 然后让他去发挥 那样的话效果会好很多 无声视频 然后让图片说话 找一张随机图库去测试 可是因为他是自动测试 我们有干预 他测试的时候找他 本来说想说一个人让他说话 说一个人让他说话 结果找成了一只狗 最终生成的样子确实是一只狗 他没有说最后变成人活还是怎么样的 但是他这个样子就勉强动动自为 如果用真人我之前试的 本次测试没有试过来 几秒钟之后 一两秒立马就变形了 具体生成的视频的样子 我们简单看一下 蒸馏版的 这是美女 运动美女 还得车库的 是两阶段版本的两个 很明显动作 他的样子变得就更加活跃一点 动作也有了 是实验室的 一个阿三在这白话 就像是一个泰国人他在说话 你看他脸上这种雀斑这种表情 我们能看到他确实挺像真人的 这个效果是不错的 综合评价我觉得就差很多了 首先速度相对慢 然后这个T14理解稍显差 然后身份保持也不太行 所以我觉得是这样 这个视频生成能力 目前ILTX模型 如果用一些视频里边的匕骤 或者进行一些原型的 比如展示一下你想要的东西 但是直接可能不行 我试了很多次全完蛋了 下一部分世界理解部分 这个世界理解部分呢 这个模型是这样的 这个模型带V的 Vision 7B一般的模型 专门是理解图片 第一个是代码识别 第二个是一些图表识别 第三个是界面 这是一个模拟的计算机编程界面 然后还有一个识别图片 还是依旧是用这个狗为识别的 本来说是个人嘛 然后让它识别 确实最后输出了 没有人物 只有一只哈布狗 这个相当厉害 不会遵从人的这种强制的复杂图片 需要识别的时候 它在统计数字的上面 这个确实不太主意 双图对比的时候 天鹅宝和在安风景 他说是跟咖啡馆有关 有点偏差 是具体的一些结果 那么描述比如说场景 什么样子的 主体什么样的 大楼 包括毛树人物 这边他说了图片只有一只哈布狗 有一个分析图表 然后他给出了具体年月日 最高值平均值等等等等的 识别出来了 然后代码理解 他理解出来的相关的内容 贝波那奇数列数东西 然后他数列大堆 这个数彩的花胶 分析图片 然后分析相同点 不同点 他说了包括韩维胡 当然刚才看了这是风景 最终结论吧 首先实时对话这个是非常可用的 流畅然后准确 视觉理解是非常棒的 大家看到 它能准确识别数字啊 深线图柄什么的 外界的问题不大 然后声音克隆 刚才大家听到 简直是完美 这个图像生成呢 等于是速度稍微慢 克隆震灵来提升 视觉模型的差距非常大 只能生成一些基本的内容 给人有氛围感 人脸一致性 基本上不可用 这个MacBook Pro M564G配置上 然后小而快的模型 还是比较有价值 相信随着苹果架构本身的它的完善 相关配置环境的完善 我觉得它的提升应该还是会很迅速的
本次執行流程與問題處理
下達指令
預期流程
- 下載與語音辨識
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：41.8 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：43.3 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：0.4 秒
關係：依序執行
結果：完成
4. 句子密度平衡
工具：videonote_balance_sentence_units.py
處理：平衡句子長度與密度
產出：sentence_units.json（句子單元）
耗時：0.4 秒
關係：依序執行
結果：完成
5. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：0.5 秒
關係：依序執行
結果：失敗
問題：exit code 46
6. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：0.5 秒
關係：依序執行
結果：完成
7. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：0.5 秒
關係：依序執行
結果：完成
8. 逐字稿交叉檢查
工具：videonote_cross_check_transcript.py
處理：交叉檢查逐字稿與來源字幕
產出：transcript_crosscheck_report.json（交叉檢查）
耗時：0.5 秒
關係：依序執行
結果：完成
9. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：0.6 秒
關係：依序執行
結果：完成
10. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：175.7 秒
關係：依序執行
結果：完成
11. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：0.8 秒
關係：依序執行
結果：完成
12. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：0.9 秒
關係：依序執行
結果：完成
手動來源字幕
- 尚未產生
自動來源字幕
Whisper 字幕
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
- 校正前 transcript.whisper.json 純文字 JSON
- 校正後 transcript.json 純文字 JSON
目前待解決問題與初步改善方向
- 逐字稿全文快速校讀未完成
已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。；RAPID_REVIEW_STATUS=REVIEW_REQUIRED_INVALID_OUTPUT
- 部分時間軸可能不精確
unit 119: 6 chars owns 11.040s (max 8.000s)
- 逐字稿可先使用，但有待校正清單
segment=7 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=8 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=10 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=11 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。