逐字稿文字預覽
這是你可以在消費級硬件上運行的最好的本地模型。而且就其规模而言,它真的非常出色。在本視頻中,我將向你展示如何將其與DeepSeekHarness這樣強大的編碼代理結合,來構建強大的代理系統。而且它還有一些非常有趣的隱藏能力。例如,它在圖像理解和繪製邊界框方面非常出色。所以在本視頻中,我的目標是向你展示如何設置它。 如果你想使用这个模型 应该使用哪些不同的配置 以及许多人在推理时常犯的错误 首先我们来看几个不同的基准测试 因为这确实能展示这个模型的强大之处 这是人工智能代理指数 目前是51 实际上仅落后于KIMIK3 KIMIK3是一个2.8万亿参数的模型 最重要的是性能在真实世界测试中依然保持 稍后我会在视频中展示几个例子 现在来对比一下 它的智能和性能非常接近最高设置下的Cloud 4.8 而那是几个月前的顶尖模型 有人可能会说这可能是基准测试的结果 但真实世界的性能 实际上非常非常出色 我将向你展示如何用 Deep Seek Harness设置它 我认为这本身就是一个 非常有趣的创新 尤其是来自Deep Seek 这是一个非常强大的框架 我玩得很开心 他们的核心思想是 一切皆可插绑 我为此做了一个视频 我强烈推荐观看那个视频来入门 好的 但在此之前 我会谈谈在哪里可以获取这个模型 它已经在Hugging Face上可用了 如果你有Apple Silicon,我推荐使用MLX版本。 如果你想在Linux或Windows上运行, VLM和Stealing是两个可以尝试的选择。 所以现在我正在DGX Park上, 我将运行MVIP4版本。 我有一个两节点的集群。 现在DGX Park并不是真正为运行270亿密集模型设计的。 所以我在单线程上 大约每秒15到20个零排 在并发情况下 我想我能达到 每秒60到70个零排 这相当可用 现在要运行这个模型 你只需运行这个 它会为你设置服务器 你可以通过网络访问它 这基本上会为你下载模型 以及草稿模型 它启用了推测解码 好的,对推理,我已经下载了DeepSeek Harness。 我为此做了一个视频,我强烈推荐观看它来了解基础知识。 好的,这就是Harness的样子。 现在为了设置Queen模型,我不得不进入设置。 然后在设置中,你实际上可以配置任何你选择的模型。 这会为你打开这个YAML文件 现在在这个YAML文件中 你需要定义你的提供者 所以我一直在尝试不同的模型 所以你可以看到这里 有一个运行在那个集群上的 DeepSeek vFlash ZR3.827BMLX版本 那现在我正在使用这个配置 它在两个DGX Spark上运行 原因是 我想要使用完整的上下文窗口 并处理多个 并发请求 你可能已经看到了编码能力 所以我要从我发现最有趣的 一个开始 所以我提供了这张图片 这是一张参考图片 这是一个多摩台模型 这意味着它可以理解图像和文本 它盛程的描述相当准确 我要求它使用OpenCV 这是一个用于计算机视觉的Python包 让它决定做一些分析 所以它实际上编写了自己的框架 来分析幻雄图像 由于这是相当开放的 所以它做了几件事 例如这里它在看边缘检测 这是在做一些类型的脚点叠加 它用来识别图像中的脚点 现在这完全在DGX集群上本地运行 感谢VDia 赞助计算资源 这些视觉语言模型 非常擅长识别物体 但它们在技术方面非常糟糕 但是这个模型实际上让我惊讶 所以我说你在这张图片中 看到多少辆车 他数出了图像中总共有26辆车 所以我想他可能只是编了一个数字 那然后他说好的 从顶行开始 基本上就是这里 如果你能数一下车 1 2 3 4 5 6 7 8 9 10 11 对吧 所以他数出了总共11辆车 然后他谈到主停车场 在那里 你实际上可以看到 有1,2,3,4,5,6,7,8,9辆车 出于某种原因 它没有把这排算作主停车场的一部分 但技术结果相当准确 为此我们需要看四位列 看起来它能够将图像分成不同大小的补丁 然后识别物体并在这些补丁内计数 所以它不仅仅是识别物体 还能指向它们 我们在Deep Seek Vision模型论文中 见过这种能力 但还没有在现实中真正见过 好的 但然后它实际上变得更加有趣 所以我说 图片中有多少辆白色的车 然后它再次开始像之前那样精确的技术 所以它划分并看顶行 然后主停车场 然后路边 根据它的说法 总共有八辆不同的白色汽车 如果你看原始图像 似乎有一二三四五辆白色汽车 但它肯定加上了这个 这个 我想还有这个 但然后我说 好的 如果我要求它在物体周围画边界框呢 但有趣的是 看到实际结果 为了做到这一点 它实际上写了一个python程序 所以你看到的边界框坐标 这些直接来自模型 所以模型实际上指向图像中的不同物体 然后在上面绘制边界框 好的 所以这是结果 实际上相当令人印象深刻 尤其是这是一个视觉语言模型 仅仅通过看图像就绘制边界框 它们并不完美 对吧 所以如果你看这些 可能覆盖了更大的区域 但总的来说它非常准确 有人可能会争论这两个 甚至皮卡车的情况 然而我认为你可以说他们通过了 你可以添加另一个模型 来做物体检测 然后你可以用这个模型来判断 这些检测到的物体是否准确 但总的来说 我真的印象深刻 我还没有见过一个视觉语言模型 在 好的,所以我运行的其他一些测试 这是实时国际空间站追踪器的结果 它实际上是我见过的 开源模型中最好的输出之一 这里的工作真的令人印象深刻 而且在实时更新方面相当准确 它每5秒做一次 完全按照我们的要求 但输出的质量实际上将取决于你设置的推理努力 接下来我们需要谈谈推理努力 有四个不同的级别完全关闭 这变成非推理模型 然后低中超高没有高 有时当你设置为超高或中等时 它会将整个完成预算 用作思考预算 你不会得到任何输出 我已经看到这种情况发生在我身上好几次了 所以对于完全关闭 我要求它使用网络搜索 创建一个关于它自己的网站 所以输出令牌大约是两万个令牌 所以这个是完全关闭 你实际上可以看到 它只是编造了一些数字 我要求模型进行网络搜索 在一个他以前没见过的框架中 然后创建一个网站解释一切 然后仅仅通过将推理努力改为第一 他实际上开始生成一些非常有趣的结果 这实际上是一个相当不错的网站 可以说他甚至比像GPT5.5最初发布时更好 仍然有那种蓝色调 但整体视觉效果非常好 现在这是当你把游戏预算提高到中等时的结果 它开始添加这些漂亮的动画 我认为与完全关闭推理相比 质量显著提高 对,所以你可以看到显著的改进 然而它使用的令牌数量 与非思考版本相比大幅增加 最后相同的提示 相同的上下文是超高推理 视觉质量相当不错 动画与中等推理非常相似 但视觉语言有点不同 颜色与低和中等不同 似乎推理与输出主题的外观有很大关系 我认为这是一个相当可用的网站 你可以从本地模型得到 现在快速看一下令牌数量 推理关闭 输入令牌是8万2千个令牌 输出大约2万个令牌 花了大约15分钟 我猜第二个大约是25 但每次运行之间会变化 因为它在运行多个并方模型 对于超高 几乎50万个输入令牌 6万个输出令牌 大约86分钟 现在中等出于某种原因 实际上消耗了更多的令牌 所以几乎是8 推理35分钟 7万个输入令牌 大约31000个输出令牌 对 所以你可以看到 如果你提高推理努力 令牌数量基本上会爆炸 现在这发生在一个全新的框架下 我认为代理以前没见过 这是Leap Seek Harness 但它有这个非常整洁的轨迹功能 所以你可以点击这个 这基本上会显示上下文中 到目前为止发生的所有事情 所以我们有初始系统提示 一切都可以省计 你实际上可以看到 系统提示中具体包含了什么 然后用户消息是什么 这是我给系统的初始消息 然后上下文 这是模型对Deep Seek Harness的初始上下文 其中一些与QDAV模型无关 但它仍然会看到这些 所以这些是所有可用的技能列表 对吧 但然后美妙之处在于 你实际上可以看到模型 采取了什么具体行动 如果有工具调用 你可以看到具体负载是什么 模式是什么 它使用了结果时间 这相当不可思议 就像我还没有见过 任何其他框架提供这种级别的细节 通常你需要使用一些 其他追踪工具进行可观测性 但Deepsea 使你能够实际查看 所有采取的行动以及时间线 所以你可以 省计它 你可以找出代理在哪里失败 然后如果你看到多个工具 调用失败 你甚至可以更新你的工具 这相当不可思议 现在我确实计划创建一个专门探索Deep-Sea Carnest 中这个标记机制的视频 我觉得这是对框架设计的一个非常新的看法 很多人可以从中学习 好的顺便说一下 它刚刚超过了16万个Github新标 不到一周大 这太疯狂了 目前我认为这是GitHub历史上增长最快的开源项目 有趣的是他们不接受任何外部贡献 所以这一切都要感谢DeepSeek团队 好的,我将运行更多实验 特别是视觉分析能力 因为我认为我还没有见过这样的东西 但一定要去看看 如果你有任何具体问题,请告诉我 无论如何 我希望你觉得这个视频有用 感谢观看 像往常一样 我们下个视频见
本次執行流程與問題處理
下達指令
預期流程
- 自動字幕優先，Whisper 作為備援
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：39.4 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：42.1 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：0.2 秒
關係：依序執行
結果：完成
4. 句子密度平衡
工具：videonote_balance_sentence_units.py
處理：平衡句子長度與密度
產出：sentence_units.json（句子單元）
耗時：0.2 秒
關係：依序執行
結果：完成
5. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：0.2 秒
關係：依序執行
結果：失敗
問題：exit code 46
6. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：0.2 秒
關係：依序執行
結果：完成
7. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：0.3 秒
關係：依序執行
結果：完成
8. 逐字稿交叉檢查
工具：videonote_cross_check_transcript.py
處理：交叉檢查逐字稿與來源字幕
產出：transcript_crosscheck_report.json（交叉檢查）
耗時：0.3 秒
關係：依序執行
結果：完成
9. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：0.3 秒
關係：依序執行
結果：完成
10. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：101.1 秒
關係：依序執行
結果：完成
11. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：0.2 秒
關係：依序執行
結果：完成
12. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：0.2 秒
關係：依序執行
結果：完成
手動來源字幕
- 尚未產生
自動來源字幕
Whisper 字幕
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
- 校正前 transcript.whisper.json 純文字 JSON
- 校正後 transcript.json 純文字 JSON
目前待解決問題與初步改善方向
- 逐字稿全文快速校讀未完成
已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。；RAPID_REVIEW_STATUS=REVIEW_REQUIRED_INVALID_OUTPUT
- 部分時間軸可能不精確
unit 245: 6 chars owns 11.400s (max 8.000s)
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。