逐字稿文字預覽
Deepseek把V4家族的视觉 实验模型开放出来了 它开始把图片里的 信息带进任务处理 在官方公布的部分测试中 超过OPPO4.8 也有项目明显落后 这次发布最值得追问的 是开放的视觉能力 能不能真正进入工作流程 让更多人不必只靠少数 平台来处理自己的资料 模型的完整名字叫 Deepseek V4 Flash vision EXP 名字很长 但最后那个EXP尤其重要 它代表实验性质 截至2026年9月1日 官方hugging face仓库已经公开 模型说明之外 还提供了权重相关文件 配置和参考推理代码 发布本身有据可查 实际表现仍要按测试条件判断 官方把它称为Deepseek v四 家族首个实验性多模态模型 这里的首个限定在V4家族 不能扩写成Deepseek 此前完全没有视觉研究 早在Janus系列中 Deepseek就探索过多模态理解与生成 这次值得注意的进展是视觉模块 进入了v四flash这一条模型路线 按照模型卡的介绍 它建立在V4Flash架构之上 加入视觉模块并继续训练 以获得视觉理解能力 图片与文字一起输入 再围绕内容回答或处理任务 是目前资料支持的核心方向 不能因为名字里出现vision 就把实时视频语音对话和 图片生成全都自动算进来 这项变化为什么重要 因为现实工作里有大量信息 并不是一段整理好的文字 一份报告的关键 限制可能放在图注里 错误提示可能只有截图 页面布局决定哪个 数字对应哪个项目 模型如果只能接收文字 就需要有人先把这些内容解释一遍 人在做的 常常正是机器难以看清的那一段 以一张经营图表为例 只把上面的数字抄出来还不够 纵轴使用什么单位 两条线代表哪些对象 哪一段是预测值 都会影响结论 文字识别可以提供字和数字 视觉理解还得处理位置与关系 省掉这层判断 很容易得到一份文字流畅 却把事实关系讲反的分析 视觉模型提供了一条 减少这种信息损失的路线 不过看得见也有不同层次 识别一张图里有表格 读出其中几个值 判断这些值为什么发生变化 是逐步增加难度的任务 Deepseek这次发布能否改变实际使用 必须落到这些具体能力 不能靠会看图三个字一次带过 官方测试表给出了值得关注的信号 apexbench的pass AT1成绩 视觉实验版是36.5V4Flash0731是26.2 作为对照的Opus4.8是39.4 新版本比旧版本高10.3个百分点 但这组比较有一个不能略过的脚注 否则很容易把进步解释错 脚注写明 0731在apexbench和agents last exam两项测试 中忽略了输入里的多模态元素 也就是说 旧模型没有按同样 方式利用图像信息 新增视觉后成绩改善确实 说明开放这类输入有意义 但不能把全部差距解释成 在完全相同的信息条件下 纯推理能力提高了多少 这就像处理同一份材料 一个系统拿到了图文 另一个只处理其中的文字 结果可以比较 但比较回答的问题变了 它更接近完整系统获得 新输入后的表现变化 若要单独证明视觉 推理本身比某个模型强 还需要让参照对象 都能拿到相同资料 并控制其他测试条件 另一项agents last exam中 视觉实验版是27.30731 是25.2 Opus4.8是25.7 这里新模型在公布的 表格里领先了对照模型 但幅度不能被包装成压倒性胜利 模型卡提供的是这些条件下的成绩 不是每一家公司的所有任务 也不是未来应用的收益保证 更接近专业工作的一项是Chartography Deepseek公布的成绩为64.3 对照的Opus4.8是65.0 两者很接近 这个基准关注专业图表理解 研究者强调不同领域的 图表有各自的表达习惯 读错一个少标注的坐标 或误解几何关系 就可能让后面的 推理从起点发生偏差 这种测试比让模型给 一张日常图片起标题 更能触及业务难点 专业用户需要从图里做出判断 光认出颜色和形状没有用 但专业图表基准的成绩也不能直接 当做某个行业的自动审批通过率 任务分布不同 允许的错误不同 实际系统还可能涉及额外 的数据处理和验证步骤 0bench又提出另一层限制 官方模型卡列的是RDNA5 视觉实验版35.0 对照模型34.0 这种指标考察多次尝试 中至少成功一次的情况 和一次作答的pass 艾特一不能混读 5次里能找到一次正确结果 并不代表部署时系统会 自动知道哪次才是正确的 实际用户付钱买结果 通常不希望收到5份相互 矛盾的答案再自行选 如果重试能够由验证程序筛选 就可能有实际价值 要靠专家重新检查每份答案 成本就会转移到人工 看榜单时忽略尝试次数 最容易把一个有研究意义的 进步误读成现成可靠的生产力 视觉能力加进去后 文字任务有没有受 影响也必须一起看 在Deepseek上 新模型是59.30731 是54.4 OPPO4.8是58.0 这项公布结果支持 一个有限但积极的判断 新增视觉后 它在这组任务上没有因为 功能扩展而牺牲原有表现 反而高于两个对照分数 但cybergame的结果没有延续这个方向 视觉实验版75.30731为76.7 OPPO 4.8为78.3 新模型低于旧版 也低于对照 这里不需要编造原因 现有材料并没有证明 是视觉模块造成下降 他提醒的是 能力变化存在不同方向 不能选完上涨项目就宣布全面升级 NL to Repo的差距更值得保留 视觉实验版是57.7 OPPO4.8是69.7 相差12个百分点 只要这一行还在 就很难把整张表讲成 闭源模型已经失去优势 采购模型的人真正关心的是 自己的主要任务落在哪一类 如果恰好是差距明显的那类 其他项目领先并不能补偿交付损失 官方还披露文字代理测试 使用Deepseek Harness的minimal模式 并为Deepseek设置最高档推理强度 采样温度为1.0 top p为0.95 这些条件提醒使用者成绩 来自模型与运行框架的组合 换成不同工具配置 或更短的思考预算 不能直接假定还能拿到同样分数 所以这张表更适合 用来建立候选名单 而不是直接发出 全面替换的采购命令 它表明视觉实验版已经 有值得认真验证的能力 也明确留下了差距 下一步应当拿真实工作去复核 把进步说清楚 再把适用范围划清楚 远比把一个模型捧成 万能答案更有判断力 除了分数 发布内容本身也有分量 官方仓库使用MIT许可证 并公开了提示编码和最小推理实现 开发者获得的是检查和改造的基础 不只是一扇只能提交 问题等待结果的接口 模型如何接收图像 输入怎样编码 可以沿着公开文件继续研究 但这里的开放范围需要准确描述 仓库有权重和相关代码 不等于训练使用的全部数据 清洗过程和每一次 实验都已完整公开 模型可下载与训练全过程可 复现不是同一级别的承诺 商业应用还要处理 自身数据的授权与隐私 不能把模型许可证当成所有 素材都能任意使用的通行证 MIT许可证提供了使用和 修改等方面的许可 同时保留相应通知要求 并按现状提供软件 不做质量担保 开源用户得到更多主动权 也要承担验证责任 模型能进入自家系统是一个开始 出了错误由谁处理 服务怎么维护 并不会在下载完成那一刻自动解决 从结构上看 这次公开的实现包含 视觉编码器与对齐模块 前者处理图像信息 后者参与把视觉表示接到 语言模型所能利用的形式里 普通用户不需要记住每个技术名字 但这个结构说明会看图 依赖具体的处理链路 不是给文字模型换 一个产品标签就能完成 这条链路的前端尤其容易被低估 图片进入模型之前 通常要经过尺寸和像素处理 假如一张密集报表被 处理的细节难以辨认 后面再强的推理也不能 保证恢复原来那几个小字所以 评估视觉模型要把输入处理算进去 不能只检查生成回答的最后一段 官方单独公开了 图文提示的编码参考 支持图像与文字交错出现 文档还用两种输入写法 表达同一个双图问题 并检查它们得到相同 的提示与输入序列 这个设计看起来很工程化 却触及一个常见错误来源 第一张图和第二张图 如果在传递中对调 模型可能答得很流畅 却始终在弹错对象 比如需要比较修改前后的两份界面 问题是哪个按钮消失了 顺序就决定变化方向 编码阶段保持图像 与文字的对应关系 才有资格继续讨论 模型理解的是否正确 这种基础设施做对之后 开发者才不至于把输入 错误误诊成模型智力不足 或者不断改提示词却没有效果 配置文件还保留了混合专家结构 它列出256个路由专家 每个词元选择6个 并有共享专家 这个结构试图让每次计算 只动用模型的一部分能力 但不能把它理解为只需要 存储那几个被选中的专家 实际部署仍要处理 模型权重及运行时资源 存得下和算得快是不同约束 这也是为什么Flash三个字不能 自动翻译成普通电脑轻松运行 名字表达产品路线 不是硬件配置单 速度会受到硬件 带宽和推理实现影响 并发增加后还会出现新的资源压力 缺少针对具体机器的测量 就不应该承诺每秒生成多少字 更不能仅凭名称推算成本 配置中还能看到低精度相关设置 包括专家权重的FP4 设置和FP8量化信息 低精度的目标之一是 降低存储或计算负担 但收益取决于实现与硬件支持 精度变化也需要验证 它是优化工具 不是一个只赚不亏的按钮 不同组件的精度还可能不同 不能把整套模型 简单描述成统一四维 上下文上限也同样需要谨慎 配置文件的最大位置数是1048576 属于约百万词元的量级 这是容量相关的设置 不能直接读成百万字 更不能保证塞进去的 每一个细节都会被准确利用 窗口能容纳多少 与长材料中能找到多少有效证据 需要分别测量 图文场景会让长上下文问题更实际 一份长报告可能包含多页图表 同一指标在不同页面又有不同口径 模型要找到正确位置 还得保持单位与时间范围的一致 多放一些内容进去 只是给了更多材料 如果材料之间的关系没有处理好 更大的窗口也可能存在更多混淆 参考推理文档对 自身定位说的很清楚 它是一份便于阅读的参考实现 并非生产服务引擎 代码包含Genspark相关前向路径 但生成循环仍然是 直接的自回归采样 这意味着能在代码里 找到某种能力的组成部分 不等于配套服务已经把吞吐 和调度都优化到成熟状态 把参考实现接成长期服务 还要处理请求排队 资源分配和失败恢复 单次测试跑通只能证明 这一次流程可以执行 客户同时上传资料 某个请求过长 机器资源暂时不足 这些情况都会影响交付 实验模型最容易被夸大的 地方就是把能够运行写成 已经适合任何生产环境 文档里的并行示例也 不能当成最低硬件要求 示例展示了如何组织执行 不等于已经测出 所有部署组合的下限 官方目前这些文件 并没有给出足够依据 让外界承诺某种消费级 设备一定可以获得理想体验 后续优化可能改变门槛 但未验证的结果 应当留在未来时态里 经过这些限制 开源的价值反而更具体了 一个企业如果只通过 外部接口使用模型 很多前处理和服务细节由别人决定 获得权重和代码后 它至少能够针对自己 的资料格式做调整 固定版本并保留测试环境 这种可控制性对长期工作有意义 即使它不自动带来最低成本 最容易进入试验的场景 是视觉信息与明确 规则同时存在的工作 比如报销单据处理 模型先提取候选字段 再由程序核对总额和日期格式 异常部分交给人 这个流程把模型用于 难以标准化的识别 把容易验证的条件交给确定规则 它是一种应用设计思路 不是本次发布已经证明的客户案例 这样的组合还有一个优势 错误更容易定位 金额看错了 可以回到对应图像 加总不一致可以检查计算 审批未通过则应当有业务原因 若把所有工作都塞进 一句处理完这份报销 得到一个总判断 后续复查就会困难得多 开放模型给了拆分这些环节的条件 系统设计仍需要认真完成 文档整理也有类似机会 扫描件可能排版复杂 表格跨页 图注夹在正文里 一个能利用图像的模型 有机会减少先转成纯 文字时的结构丢失 但有机会不等于已经准确 实际验收应当保留页码与证据位置 让使用者能回到材料核对 而不是只得到一份无法追溯的摘要 网页任务则要求模型把 画面与动作对应起来 识别按钮在哪里 仅仅是起点 按钮能否点击 点击后是否成功 页面有没有出现新的确认步骤 都要由执行系统继续观察 视觉模型可以参与判断屏幕内容 但它不会因为看见一个付款按钮 就自动获得付款权限 也不应被赋予这种默认权利 做界面测试时 视觉能力有机会发现 文字日志里不明显的问题 比如内容是否被遮挡 某个组件的位置是否异常 但这类判断也需要明确标准 页面有两种合理布局 模型偏好其中一种 不代表另一种就是错误 真正可以自动验收的 应当是可描述可复查的要求 而不是一句看起来不够好 这些例子共同指向 一个更有用的竞争标准 模型的价值应该落在某个环节 少了多少人工搬运 又增加了多少检查成本 一个专业流程可能不需要全能模型 只需要它稳定处理少数关键输入 只要这些输入足够频繁 局部可靠的能力就能有价值 不必等所有基准都拿第一反过来 模型在困难基准上的平均成绩提高 也不意味着可以 接手风险最高的决策 医疗图像重要工程判断和 敏感财务操作都有远超过 一次问答的责任要求 此处讨论的专业图表表现 只能提供研究和选型线索 不能替代领域验证 更不能被包装成取消 专业人员审核的理由 模型能够读图之后 还会扩大需要保护的数据范围 截图中可能包含账号个人 身份信息或内部系统界面 资料原本只在某人的屏幕上 上传之后就进入新的处理链 企业部署前需要 弄清楚图像去了哪里 哪些记录被保留 以及故障排查时 会不会再次复制这些资料 自行部署给了更多 控制数据流向的机会 却不自动等于数据安全 如果服务暴露范围过大 日志记录了敏感图片 或者管理权限没有分开 本地机器一样可能形成风险 更合理的判断是 开放权重允许使用者 自己安排保护措施 同时也要求使用者有能力 把这些措施真正执行下去 视觉输入还存在与 文字类似的信任问题 图片里的文字可能 是需要分析的内容 也可能夹带试图改变任务的指令 系统应该分清材料和授权 不能因为模型能够读到某一句话 就把它当成新的命令 让模型接触更多信息 同时也意味着要更清楚的 约束它能用这些信息做什么 这些安全要求 并没有否定发布的意义 相反他们解释了为什么开放 模型会吸引一部分开发者 某些团队希望自行定义 审核环节和数据保留策略 也希望固定一个版本 不必跟着外部服务每次调整 模型能力只要达到业务所需 更多控制权本身就能 构成选择它的理由 不过固定版本也有代价 没有自动跟随更新 就需要主动评估新版本 决定是否修补或替换 维护人员需要保留测试样本 知道这次升级改善了什么 又损害了什么 否则所谓稳定版本可能只是 很久没有被检查的旧版本 控制权只有配上维护
本次執行流程與問題處理
下達指令
預期流程
- 採用來源字幕（略過語音辨識）
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：3.6 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：52.5 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：0.6 秒
關係：依序執行
結果：完成
4. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：0.6 秒
關係：依序執行
結果：完成
5. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：0.7 秒
關係：依序執行
結果：完成
6. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：0.7 秒
關係：依序執行
結果：完成
7. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：0.7 秒
關係：依序執行
結果：完成
8. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：163.9 秒
關係：依序執行
結果：完成
9. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：0.9 秒
關係：依序執行
結果：完成
10. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：1.0 秒
關係：依序執行
結果：完成
手動來源字幕
自動來源字幕
Whisper 字幕
- 尚未產生
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
- 校正前 transcript.source.json 純文字 JSON
- 校正後 transcript.json 純文字 JSON
目前待解決問題與初步改善方向
- 逐字稿全文快速校讀未完成
已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。；RAPID_REVIEW_STATUS=REVIEW_REQUIRED_INVALID_OUTPUT
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。
- 音訊下載不穩定，需更新 cookies / PO token 後重試精進模式。