逐字稿文字預覽
想让DeepthicHonix看懂图片,到底有几种方法。不是换个多魔态模型就万事大吉了,很多人配置完依旧发动失败。还有,如果我们想给纯妹妹打模型直接发动图像,应该怎么实现呢?本期,我们将通过本地部署和线上调用两组技术路线。一次讲明白,踩坑点,配置细节,插件石头全部给刀。干货满满,建议先收藏。我是DD,让我们开始吧。想要本地Agent能够识别图像,通常有两种路径。第一种方案是使用同时具备图像识别 和任务处理能力的多魔态模型。这种不依赖插件就能实现,也是对画面其一随时最小的方案。第二种方案是视觉模型翻译后再未给纯文本模型。这也是大多插件所属于的方法,并也通过插件可以让这个过程基本误感。但坦承的说也是有缺点的,因为图像和纯文本大模型中间多了个传话的,对于较为复杂的图像可能会有信息的丢失。首先我们来演示第一种方案,在DeepthicHonix走下角点击设置,再点击模型。在天安模型提供方中, 如果有你的模型提供商的话,你可以在这里添加。否则我们需要点击添加自定义提供方,然后在这里面填写我们相关的API信息。我这里先给大家演示一下如何添加一个线上的API。首先我们要判断你的API是否能支持图片理解。 最简单的方式就是直接将模型名发给某个AI助手,让AI帮你判断,或者我们直接来看官方文档。我们可以直接在文档中搜索多模态或者图片理解之类的关键词。如描述模型支持图像输入等相关表述,即为可以识别图像的模型。 接下来我们进行实际配置,这里不做任何推荐,仅用于演示。在后台复制API地址。回到模型配置这里,provideID需要以小写字母开头。我们这里可以填写模型提供商的名称。因为我此前已经配置过一次,所以我这里加个02,避免重名。显示名称这里可以用同样的名字。API地址粘贴我们刚才复制的地址。API协议选择OpenAI Cooplicions。 到Api后台复制API后台复制APIk。接着在自定义提供方的API密尔中粘贴我们复制的APIk。正常我们可以点击获取可用模型来自动加载模型目录。但是我用的这个平台使用了自动算法切换模型。 所以我需要手动复制指定的模型名称。担贴到模型ID这里,显示名称这里我们可以任意填。然后点击创建提供方。接着我们开启一个新的绘画。选择我们刚才添加的可以识别图像的模型。此时复制一张图像粘贴到对话框。 点击发送。不少小伙伴会遇到图片发送不出去。提示该模型不支持图像。我起初以为这是个bug。查了圆码才发现不是。而且这个设计其实挺讲究的。问题的根源在于接口不告诉你模型能不能看图。所以DeepseekHanice没法自动判断。 它选择了保守策略。默认当做纯文本。要发的图片必须显示声明。不然你有可能图片发出去了。Token消耗了。最后只达到了一个报错。所以我们来给它声明一下。点击左下角的设置。在通用设置中点击打开配置文件。如果这里没有自动打开的话,你可以像我一样从安装目录中打开。首先打开C盘。点击用户。打开一粒电脑名命名的这个文件夹。找到并打开.dsh文件夹。右键Sitings用记事本打开。 找到我们刚才添加的模型。在内幕的下面我们输入这一行代码。按Ctrl加S保存。这个修改会热生效。我们不需要充气。回到对话框。我们直接点击发送。此时图片就可以正常识别了。 有些小伙伴可能希望自己的纯文本大模型也能识别图像。所以我们接下来再来演示第二种方法。先使用视觉模型翻译后。再位给纯文本大模型。首先我们需要先有一个视觉模型。 这时候肯定有小伙伴会问了。我们上一部添加的多模台大模型能直接拿来用吗?可以是可以。但是多少有点闲鱼占教油多此一举了。因为想要一个模型既能识别图像。又能处理agent的任务。那么这个模型本身能力就已经很强了。结果我们只是拿来给纯文本模型当眼睛。多少有点大才小用了。 所以通常的做法是我们用一个小巧的视觉模型来给纯文本模型戴眼睛。这样既能解决token。又能让纯文本大模型获知图像的内容。那么这个小巧的视觉模型怎么来呢?很多模型提供商职业提供永久免费的视觉模型供用户适用。但是接口存在严格的使用频率限制。如果你有很高的使用需求,那么就可以参考我们接下来的本地部署。首先我们需要下载iom499。然后一直点击下一步安装即可。在iom499中我们可以点击左下角的设置。 然后点击第一个选项这里可以把它设置为中文。接着我们来下载视觉模型。我们点击左侧的带放大镜的图标。搜索千万3vl。如果你的显存充足的话,可以使用8b的版本以获得更好的效果。我这里为了快速演示下载的提计较小的一个4b版本。点击左侧第三个图标。选择我们要加载的视觉模型。然后点击这里的加载设置。上下温长度我们稍微改大一点。避免一次对话装不下就会出现token超线的报错。我们这里改成。 32768。然后再点击第二个图标。然后确保这里的状态是开启的。点击加载模型。选择我们的视觉模型。 然后DipsickHannis这里。点击添加自定的空方。ProvideID这里我们以消息这么开头。写入iom4stuDIO。因为我曾经创过一个它的API了。这里为了区分我加个02。显示名称这里我们也用同一个名字。 IP地址的话我们来到iom4stuDIO再复制一下这个地址。回到这里我们输入之后。在后面紧接着输入一个斜杠v1。API写选择compleasens。API密要随便填一个。我这里输入123。点击获取可用模型。 只保留我们的视觉模型。其他取消勾选。显示名称这里输入千万三v2。然后点击创建提供方。打开我们的配置文件。找到我们刚才创建的这个模型。我们在内幕的下面。inputtess。 Amit这段代码。然后按Ctrl加S保存。我们先开一个绘画。然后选择我们刚才提下的模型。在这里粘贴一张图片。点击发送。此时可以看到正常识别我们的图片了。现在虽然能成功识别图像了。但是如果每次都是识别图像后。再把 文案粘贴给一个重用本模型的话。这样的话操作就太复杂了。为此我们可以安装一个视觉识别插件。此类插件在社区已经有很多版本可以选择了。不过我还是自行开发了一个。这不是想证明我多牛或者说我的更好用。相反我开发的这个插件只是第一版。可能更加简陋。我之所以开发它是因为我更倾向于开发一个更符合自己使用习惯的工具。比如我希望能自定已识别图像时的提示词。增加缓头功能。同一张图片不带重复识别。可以一键关闭和开启。不污染。 配置的。让我感觉我是真的在掌控插件的。我调研了很多视觉识别插件。做的都挺成熟的。功能也比我这个丰富。在这里感谢以下项目的公开圆码。为本插件的若干设计考量提供了参考。不同的是。我这个实现上走了另一条路。不注册路由也不注册示威器。而是在请求发出之前把图片换成文字。这样的话。模型列表里不会都是条目。插件本身也小。不用下载额外依赖。除了转述这件事什么都不做。 复制这条命令。在PowerShell中安装。接着我们来安装插件。无论你的DFH是不是全局安装。都可以通过这个命令来安装我们的视觉桥接插件。将命令暂停到PowerShell中回车。等待安装完成。重新启动我们的DeepSigHonice。此时在我们的视视中就可以看到我们的视觉桥接插件了。第一步选的模型就是用来识别图像的模型。 直接取用是你已经确定它能看图。跳过测试直接写。切好声明之后。就不用像前面那样手动去加input text image了。第二步是选择哪些模型需要被桥接。你会发现内置的DeepSig模型不在这个列表里。这是因为插件读取的是自定义模型Q方的配置。而内置的DeepSigOfficial不在那里面。它是留另一个插件单组注册。就算能选也桥接不了。它的模态写死在代码里。支配器还会直接拒收图片。单纯的声明也改不了。所以如果想用DeepSig的纯文本模型。 还要能发图片。就得通过添加自定义模型提供方。自己配置一份DeepSig的API。这里我们来配置一下。provideID。这里随便写一个。我们填DeepSigV4。显示明圣这里我们用同样的内容。这里我们填写DeepSig的API地址。API写意选择Completions。我们在后台创建一个APIK。复制APIK粘贴到我们的密钥中。点击获取可用模型。然后点击添压搜索。显示明圣这里为了和默认模型区分一下。我这里用DLSV4来表示。回到视觉前。 调节插件这里。在第一步中选择我们用来识别图像的模型。然后点击测试并启动。在第二步中勾选需要增加视图能力的模型。接着点击保存。我们重启一下。然后开一个新对话。暂停一张图片进来测试一下。请注意我们需要切换到刚才自定义的DeepSig模型上。可以看到此时即使是我们选择的纯本模型。也可以正常的给它发送图片。并且帮助它识别出图片的内容是什么。到这里DeepSigHanis的视图方案。包括 解决。还有插件的完整用法。就全部讲完了。后续我还会继续更新更多DeepSigHanis的间接玩法。和AI知识。想看更多干货可以关注一波。我是DZ。我们下期再见。
本次執行流程與問題處理
下達指令
預期流程
- 自動字幕優先，Whisper 作為備援
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：48.3 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：39.1 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：0.2 秒
關係：依序執行
結果：完成
4. 句子密度平衡
工具：videonote_balance_sentence_units.py
處理：平衡句子長度與密度
產出：sentence_units.json（句子單元）
耗時：0.2 秒
關係：依序執行
結果：完成
5. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：0.2 秒
關係：依序執行
結果：完成
6. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：0.3 秒
關係：依序執行
結果：完成
7. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：0.3 秒
關係：依序執行
結果：完成
8. 逐字稿交叉檢查
工具：videonote_cross_check_transcript.py
處理：交叉檢查逐字稿與來源字幕
產出：transcript_crosscheck_report.json（交叉檢查）
耗時：0.3 秒
關係：依序執行
結果：完成
9. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：0.3 秒
關係：依序執行
結果：完成
10. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：135.2 秒
關係：依序執行
結果：完成
11. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：0.3 秒
關係：依序執行
結果：完成
12. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：0.4 秒
關係：依序執行
結果：完成
手動來源字幕
- 尚未產生
自動來源字幕
Whisper 字幕
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
- 校正前 transcript.whisper.json 純文字 JSON
- 校正後 transcript.json 純文字 JSON
目前待解決問題與初步改善方向
- 逐字稿全文快速校讀未完成
已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。；RAPID_REVIEW_STATUS=REVIEW_REQUIRED_INVALID_OUTPUT
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。