逐字稿文字預覽
好,朋友們,大家晚上好。今天我們就介紹一個Deepseek HANIS的超強本地化音視頻生成的應用。主要是這個應用能夠本地化來運營,解決我們音視頻生成的相關問題。這個應用全程是本地化來跑的。 内容主要分三块 一个是我们简单介绍一下 目前的Deepseek的一个发展 过去的一周 它也有了不少的一个进展 那我们也介绍一下 另外就是 结合这个本地化的一个应用 叫Model Stack 它有十个典型的实际的应用 来我们操作看一下 还有就是我们看 这个DeepseekHanness 和这个Model Stack是怎么打通的 我们来了解一下它的配置 那首先呢 我们看一下Deep Seek Harness 什么叫这个Deep Seek Harness呢 我也看了一下相关的这个 他们官方的一些文档啊 号称是我们目前来讲 最长的这个智能体开发框架 那大家对此期望值也很高 现在热度也很 放过去才一周 然后这个热度已经达到了 十几万加了吧 好像是 那目前来讲就是 Deep-Seek-Hardings 就是一个智能体的一个框架 那它和我们这个 贯常讲的这个大元模型 还是有点差别的 大元模型是可以认为 是智能体的一个大脑 那它这个框架呢 是为了开发智能体 而做的一个操作系统 可以这样认为 我们看一下这个智能体 它本身也有一个相关的定义 那什么叫智能体呢 我们看一下官方的一个定义 那国家在2026年的5月份 也网信办发改委还有工信部 也印发了相关的 涉及到这一块的一个定义 我们看一下它的一个定义 具备自主感知记忆决策 交互和执行能力的智能化的一个系统 这是我们自己国家的一个官方的一个定义 还有一个就是国际 国际化标准组织呢 也对这个有一个定义 就是能够感知环境 做出反应并采取行动 以实际目的 以实现目标的自动化实体 也就是它是自动化的一个实体 它对它的一个定义 那我们看这两样的一个差距 还是有一部分差距的 在中国来讲 我们中国的定义是强调了自主 也是要主动决策和责任 然后国际化标准策 注重的是自动化 那无需人工关义 注重的是这一块 那两只还是有差别 从这一点也可以看出 我们自己国家的这个定义 这个层次感上来讲 我认为是高于这个国际标准组织的这样定义 它有一部分责任在里面 这是我们看到这个智能体这个相关的概念 那我们看一下这个DeepSeek Harness 我认为记住几个 主要是记住两点嘛 一个就是一切皆差践 你说在这个DeepSeek Harness上 我们所有的需要的都可以用插件的形式 来给它按各种各样的插件 比如说文件管理 比方说我们这个通道的管理 都可以用它来插件来完善 另外就是它自己本身的这个开箱 集用的A进程能力 它提供了这样一些这个能力 就总结下来 一个是智能体的循环 它能够进行多轮的循环 多轮的对话 然后工具的调用 另外就是目标的管理 能够长期对目标进行跟踪 它一会儿我们可以看一下 它有一些 有一个这个目标的设置 对于长城任务来讲 这样的话就是不容易丢失目标 第二个就是搜索工具的使用 实在基本上是 所有的智能体都要具备的一个功能 就是补充自己的这个 现实中的这个新闻信息能力的一个不足 另外就是我们说的这个MCP 它的接入 那这一块来讲就是丰富我们智能体的 它的这个工具调用的能力 也就是说给它增加很多的工具 能够给它增加的好多的这样一个手脚 另外就是我们这个子代理 就是一个任务啊 如果是超大型的一个任务 可以用子代理子任务的方式来 来并行开展 同时呢我们看它还有一个代办清单 这个代办清单是什么呢 就是我们一个任务拆解完之后 形成会会形成很多的代办任务 那这些子任务和这些代办的任务啊 可能有一对多或多对多的这样的关系 每执行完一条之后呢 这个代办清单 往后就会划一条横线 然后作为删除操作来做 另外就是文件操作系统 文件的这个操作 这是我们这个对系统文件的一些读写 还有我们的技能系统 其实技能系统和MCP呢 这两个其实是丰富我们这个智能体的 外接的相关能力的 那智能体除了思考之外 另外有执行能力 那它的执行主要是靠 MCP和智能技能系统 这两大块来完善的 那我们看过去一周 这Deepseek也发生了很多的一个变化 一周也进行了四大更新 那我们看它的更新的一个内容 8月17号呢 刚开始发布 8月13号发布的时候 这个Deepseek Harness 它还不具有这个图片的接入能力 那我当时我也用这个MCP啊 和它对接 然后呢 想发图片来做这样的一个动作 发现它是不支持的 也在本身没有这个图片化的这个能力 当时呢也是 可以看到我前面的一个视频 也是对这个 DepsyChanies进行了一个改造 然后这样的话 它能够显示图片 能够和这个 我们那个ModelStack进行对接 那到了89号呢 它就开始呢 对自己的这个模型4PT进行的改造 就是能够去 接收这个原生的一个图片 也就是支持这个图片的一个输入 那到了8月21号 也就是说昨天的下午 那他自己发布了这样一个视觉模型 也就是说他视频器是先行的 也就是说其他如果有能力的这种 其他的视觉模型 可以进行这个图片的一些读取操作 那到8月21号呢 他自己的这个模型能力 也多么特的模型也上线了 一会儿我们可以看一下 然后呢 昨天晚上他又更新了一版 也说对这个适配机做了一些优化 做了一些处理 支持文件的API的一个上传 支持这个文件图像 我们再看一下这个 DPC Harness和这Model Stack 它的两个结合起来所具有的这个能力 一个是MCP 也就是通过MCP呢 这个Model Stack可以为这个DeepHardness 提供很多的这种 接口比较丰富的 或者能力比较丰富的这样的工具 另外就是多机的一个协同 我们可以看到就是大语言模型也好 就是大模型也好 它的这个耗费资源 耗费我们电脑资源是比较大的 也就是说一个语言模型运行起来之后啊 这个机器基本上在做其他的操作的时候 就非常费劲 所以在这个样的情况下呢 而且多极其系统是比较重要的 就我们有些工具比方生视频的工具 比方生图片的工具 它都是比较耗这个机器资源的 那DBCR呢作为大脑来讲 这两个工具也耗 然后我们大脑也耗 如果在这种情况下 如何实现多极的这个来协同工作 这样的话是 我对整个系统来讲是比较有利的 那 這兩個其實就是多機協同的工作。我們的Modestack可以跑在一個性能來講,要好一些的機器上。 我们的Deepsea Cutness呢 可以跑到另一台机器上 这样的话两台机器 也就是我们的手脚 可以长在另一台机器上 我们大脑可以在 不相关的一台机器上 这样的话就是两个协同来 处理相关的事物 第三块就是我们这个成果资产化的管理 就我们生成了很多资产之后 生产了很多这个成果之后 往往之前的大模型 这个都是在文件夹里面进行管理的 就是它的系统化能力是不够的 系统化这个资源的管理 文件的管理是不够的 那这一块呢 就是Modus开接入之后呢 能够解决这样的一个问题 就能够实现文件来源 以应用的有效跟踪和管理 那形成了一个资产的一个谱系 第四块就是任务的全程化管理 那我们就任务执行的过程中啊 调用工具 那调用工具之后 其实不知道工具背后的一些 逻辑和机制的 那这块呢 就是我们接入之后呢 这Modosk能补齐这样的一个短板 还有一个任务的模板化 通过接入之后呢 这个任务能够 可以存存为模板 然后可以重复使用 那我们接下来看一下 它的一个十一大一个应用 其实最后一个是我 又加了一条原本十大应用 这里边呢 就是文图 视频和音频 这样的四大的类型的一个应用 相对来讲都是比较齐全的 这十大应用的一会儿我们可以看一下 接下来我们就做一个演示吧 这就是我们电脑上装的一个 这个DeepHard类似的一个工作台 可以看到这时候外部端的 那我们接下来就对这十大能力 我们看一下 它到底是一个怎么样的一个表现 我们找一个生图的指令可以看一下 这个DeepSickHanness是我已经和ModelStack打通了 我们可以看一下它现在是具备的能力 好 接下来我们看一下 Deepseq和ModelStack打通之后的一些操作 首先我们看一个文生图的操作 我们这边就可以看到 这个是DeepSeaHallis 正在调用我们的ModelStack的MCP服务 可以看到已经生成了 我们看一下这个图片 这是生成的一个卡通类的图片 那我们看一下它的工作区里面有没有 就是它的一个工作空间里面有没有 这个是他的一个工作空间 这工作空间没看到 这说明什么 我们这个Deepstick harness 并没有去拿这个图片 而是说本地化 它是直接显示了 那我们就让它拿过来 我们可以看到 他现在就去把这个图片拿过来了 我们看看有没有 这还是没有 我在问他 它放在Emerge了 它放在一个文件夹下面去了 它和原来的表现形式不一样了 这也说明一个什么问题 就是这个模型在调用工具之后 它的表现会不太一样 就是有的会直接放在这个工作区里 有的会直接放在这个 一个文件夹下 那现在的表现就是放在一个文件夹下去了 之前呢 它都是放在这个目录下面的 要直接在这工作空间里面 我们可以看一下 他现在拿了两张 因为我刚才已经生成过一遍了 所以他这一次就把两张图片都拿回来了 我们看一下这个图片 这是刚才生成的 这是之前生成的一本 好 我们再让这个图片生成一个视频 我们可以看一下 可以看到这些能力都是我们这个model stack给它提供的这样能力 本身来讲这个departing是不具备这样的能力的 它如果要具备这样的能力呢 它要么就是通过插件来调用外边的这种API的能力 或者通过这种相关的服务来接受本地化的一个能力 我们这个model stack就是本地化的一个相关的能力 我们可以看一下 它现在有没有调用我们这个图生视频的这样一个能力 有时候这个图也是在我们本地化来生成的 我可以大致讲一下我们整个的系统的一个部署的情况 就我这台deep-seek harness 是我本机的笔本电脑 它性能是比较弱的 然后那个model stack是部署在一代性能比较强悍的这个机器上 所以那上面的都是一些我们文声图啊文声视频啊 语音的转换啊文字的到语音的转换啊 等等相关的这种服务都在那台机器上 所以呢这个就是我们刚才讲到的这种脑袋和手脚分离的这样一个系统架构 我们看这已经生成了 文件路径 看这里面它有生成了一个 生成了一个这个 videos也就是说一个 视频的一个文件夹我们可以看一下 刚才没有这个视频的 现在有视频了我们可以看一下它的一个表现形式 我们可以看到 它这个调用的一些历程 也都在这里展示出来了 包括这个工具调用的 一个相关的参数 我们都能看得到 包括这边 它所用的提示词 包括这个 帧数 还有这个这个FPS 我们看下一条 刚才是我们用到我们那张图来生成的一个视频 我们可以再看一下 可以看到这个视频 也就是我们 它是用调用的一个 图生视频的一个能力 通过这个图来生成这个视频 也就是它遵循我们的指令 我们让它 把刚才那图动起来 三秒钟的视频 接下来我们看它另外一个能力 就是给它一个指令 让它给我生成一段视频 也就是文生视频的能力 这会做视频对齐的 也就是说我们这个400乘400 它会对齐到一个32的一个倍数上 视频上次我们可以看一下 这是上视频的一个能力 好,我们再看下一个,就是文字传语音这样一个能力 我们让它给我们一个大语言模型的一个介绍 让它给我们一分钟的一个讲解的一个介绍 我们看它能不能给出来 这个讲解的文案啊,是我们这个DeepseekHannels提供的 我们可以看一下 有这个文本是 我们这个DeepSigHoney 它所准备的 它作为这个提示词 而不是作为提示 是作为这个文本内容 我们可以看一下 它的一个声音 我们可以看见到 它现在又生成了一个audio文件夹 我们可以看一下 这音频的文件夹 大模型全称是大型语言模型 你可以把它理解成一个读过海量书籍 网页和代码的超级大脑 我们可以看一下 它通过学习数万亿个文字数据 掌握了人类语言的规律 所以能够回答问题 可以看到它是和这个Deep SeekHannis 它所生成的这个文本是一致的 基于深度学习 采用Transformer架构 通过不断预测下一个词来学习语言 参数越多模型越大 能力往往就越强 像GPT 文心语言 Deep Seek等 都属于大模型 如今大模型已经渗透到我们生活的方方面面 从智能克服到AI助手 从内容创作到科学研究 它正在深刻地改变我们工作 其实这边大家会有一个疑问 它的声音是用的哪个声音 一会我们讲一下它的声音是怎么配置的 比如偶尔会产生幻觉 需要人工审核把关 但毫无疑问 其实这我们也可以问他 这个参考语音是可以换的 看他这边也有问我们 能不能换可以换一种音色 我们问他有哪几种音色 这边也有一些音色 也就是说我们那个model stack 它提供的一些影视 我们选一个男生阳光的一点的吧 我们选这个影视试试看 我们等一下它现在生成 看已经生成了 我们看一下它这个目录下 它带了这个音色的后缀 我们可以看一下 好 我们就不再听了 就是说演示一下这个功能 它是可以这样来操作的 我们再看下一个 就是文档转音频 我们刚才是让它指定 也说大模型自动生成文 生成文字之后 让它转到音频 那下面我们有文件颜下 这个目录下有这样一个文档 然后让它转成音频 那这个能力呢 原来这个DeepSickHoney是不具备的 也就是说它没有这个文档的这个上传的能力 那最近它是补充上了 也就是我们加一个add号之后 就能选中这样的 选中这个公众目录下的相关的文件来上传 我们选中之前准备的一个行动介绍的 这样一个文字 这个文件 我们让它给我们转成语音试试看 可以看到它现在在读取文件 然后呢 调用这个MCP server 相关的方法来进行这个文字转语音 这样的一个工作 我们可以看一下 现在已经生成了 它音色呢 还是我们刚才选中的音色来做的 当然这过程中我们可以换音色 我们可以看一下 可以看到它现在是 已经把这个文档转成音频了 也说通过这个手段已经是把我们这个文档转成音频了 我们可以看一下 欢迎来到杭州 这里是人间天堂 这声音就是吊儿郎郎的 不知道 断桥残雪 三弹音乐 四季街景 千年的灵影古叉 诉说着悠久的禅意 漫步苏低 感受微风拂面 品味龙井茶香 我们不用这个音色 我们用其他音色试一下 这个音色太不像话 换一个 換這個試試看。 其实我们现在是在盲看这些音色 就不知道这音色没有视听 其实我们那个model stack应该是有视听的 我们一会看一下 可以看一下我
本次執行流程與問題處理
下達指令
預期流程
- 下載與語音辨識
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：352.1 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：63.7 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：0.7 秒
關係：依序執行
結果：完成
4. 句子密度平衡
工具：videonote_balance_sentence_units.py
處理：平衡句子長度與密度
產出：sentence_units.json（句子單元）
耗時：0.8 秒
關係：依序執行
結果：完成
5. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：0.8 秒
關係：依序執行
結果：失敗
問題：exit code 46
6. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：733.6 秒
關係：依序執行
結果：完成
7. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：0.7 秒
關係：依序執行
結果：完成
8. 逐字稿交叉檢查
工具：videonote_cross_check_transcript.py
處理：交叉檢查逐字稿與來源字幕
產出：transcript_crosscheck_report.json（交叉檢查）
耗時：0.7 秒
關係：依序執行
結果：完成
9. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：0.8 秒
關係：依序執行
結果：完成
10. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：153.3 秒
關係：依序執行
結果：完成
11. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：0.4 秒
關係：依序執行
結果：完成
12. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：0.5 秒
關係：依序執行
結果：完成
手動來源字幕
- 尚未產生
自動來源字幕
Whisper 字幕
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
- 校正前 transcript.whisper.json 純文字 JSON
- 校正後 transcript.json 純文字 JSON
目前待解決問題與初步改善方向
- 逐字稿全文快速校讀未完成
已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。；RAPID_REVIEW_STATUS=REVIEW_REQUIRED_INVALID_OUTPUT
- 部分時間軸可能不精確
unit 301: 6 chars owns 11.440s (max 8.000s)；unit 381: 8 chars owns 21.300s (max 8.000s)；unit 437: 8 chars owns 14.160s (max 8.000s)；unit 442: 10 chars owns 10.120s (max 8.333s)；unit 447: 8 chars owns 15.400s (max 8.000s)；unit 522: 2 chars owns 27.200s (max 8.000s)；unit 537: 2 chars owns 13.360s (max 8.000s)；unit 581: 3 chars owns 11.000s (max 8.000s)；unit 595: 7 chars owns 13.620s (max 8.000s)；unit 609: 8 chars owns 10.500s (max 8.000s)；unit 644: 8 chars owns 11.600s (max 8.000s)；unit 686: 3 chars owns 29.800s (max 8.000s)
- 逐字稿可先使用，但有待校正清單
segment=621 adjacent_duplicate: 與前一段完全重複，可能是滾動字幕或 ASR 重複；segment=622 adjacent_duplicate: 與前一段完全重複，可能是滾動字幕或 ASR 重複
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。