逐字稿文字預覽
來,各位家人們,最近幾天,整個硅谷都被一款叫做Jill的模型刷屏了。 然後呢,發布前三天已經被Wassel,Cloudflare,LongChang等主流平台迅速給集成了。 這個模型有什麼特點呢? 這款模型,它相比普通的模型推理速度,最高可以提升200倍,最高可以高到200倍。 然後呢,這個成本可以降低,最高可以降到400倍。 是一个非常非常恐怖的数字啊 而且是可以组合的前沿之冷 那么这种牛扮的东西到底是一个什么东西呢 它会不会把open AI把这个Athrope给颠覆掉呢 别张奇哈我们来认识一下 J5这个模型 那么J5这个模型呢一句话来干口啊 J5呢是一个决策模型 决策模型有什么特点呢 它不生成文本 不生成图片 只做结果化判断输出概率 也就是它只输出概率啊 专门给agent的程序做高频快判断 它是一个什么东西啊 它其实是一个决策模型 或者是一个判断模型 它其实跟GPT跟Cloud 跟GP9是有本质的区别的 GPT这种模型呢 其实是一个生成式模型 生成文本 生成图片 但是GP呢只做决策 它们是有本质的区别的 所以它们之间并不是一个 谁替代是这么一种关系 还是一种互补的关系 那么有种人讲 现在是生成式的天下 你这个东西有什么用呢 这个生成式模型 GPT Cloat 真来也可以做决策对吧 你这个Jill有什么特点呢 对不对 凭什么这么招扬 是吧 也别着急 他其实有非常非常多的场景 我们稍后会来进行介绍 那我们再来看一下 Jill这个模型到底是怎么来的 这个模型呢 其实是由 前欧巴亚的研究员叫Digo 他这个创办的TypeSafe AI公司 在前几天发布的 在9月15号发布的 也前几天发布的 那么这个创始人 是非常非常厉害的一个人物 他参与了ChairGPT的创造 是一个非常非常有经验的 这么一个大佬 然后他自己呢 就是说在创造完ChairGPT之后 他一直在问自己一个问题 就是说这些超人的聊天模型 为什么没有带来这个AGI 那过去的两年 我一直在眼神 抓大家做两件事情 就是一种新的模型训练方法 就是它提出了一种新的训练方法 叫RLCD 然后呢和一种新内心的情形配安模型 就是JIL 这个东西 那 好了那么重点再来介绍这个JIL 那么JIL和这个一般的模型有什么区别呢 那么一般的模型啊 像这个GPT是什么呢 竹子生成Token 是自回归 那么它是呢 高延迟高成本 就是你问它一个问题 他呢就基于你这个问题 这个问题就是一个提示词 基于这个问题 他一个一个的生成这个token 把这个token拼在一起 他其实就是一个完整的这个回答 这么这样子来的 可以生成文本 可以生成逐变 但只有这个模型呢 他是一次效情计算 直接输出判断概率 他的特点是什么呢 延迟极低成本极低 记住啊 延迟极低 也就是说啊 你给一个问题 他基本上在500毫秒之内 可以得到这个结果啊 500毫秒之内其实是非常非常快的 非常非常快啊 那个说实话 你像使用GPT 那基本上几秒啊 十几秒才得到这个结果 对不对 它的延迟极低 500毫秒之内 就可以得到这个结果 成本极低啊 我们后面会介绍的成本 然后再来看一下啊 这个东西怎么使用啊 就是说你怎么去使用这个东西呢 使用这个Jill这个模型呢 使用Jill这个模型呢 通常啊 其实它是开放这个API给大家去使用 就大家通常都是调这个API的方式啊 去使用这个模型 那么它呢 主要提供两个东西 第一个就是state 这个什么东西呢 大家可以把它看作是一个context 一个上下文 然后第二个就是问题 就是开发者预先定义好的派对的任务 主要是两个东西 然后呢交给这个这个模型 这个模型然后再发挥一个结果 那发挥的结果会是个什么东西呢 这个结果啊 跟一般大模型还是有些区别的 一般大模型呢 其实是输出一个啊 会输出一道文本 对不对 那它这里呢 其实是输出一种强烈性的结构化JSON 是一种强烈性的结构化JSON 是一种JSON的文本 啊 JSON文本 它不包含这个自然语言文本 是一种纯JSON的文本 大概是变形结构预测 模型一次性返回所有概率 也就是说你丢给它几个问题啊 它是一次性给你返回所有的概率 它是变形预测的 第三个就是程序可以直接解析 才是反过一个接测文本嘛 是可以解析的 所以我们总结来的话 总结来这个这个这个这个模型 它的输入就是state加预定的question 然后呢输出一个回答对象 是这样子 好那么它的输出呢有三种类型啊 第一种类型呢是no啊 只有三种类型啊 第一个是no啊 no是一个概率类型 这个类型有什么特点呢 也就是不完类型判断 它是返回0到1的伏点数 数值代表成立概率 无需单独设置置信度 这段数字即为置信度 好 我们来看一下 就是它返回一个什么样的东西 这里是它返回的一个结构的一个实例 因为我先说过 它其实是它的使用 它使用的方式 其实跟contract GPT 跟GPT还是有些区别 对吧 通常是以结构的方式对外使用 你直接给他一个 你直接呢 通过这个机构的方式提供这个task需要的内容 state和这个question 然后他返回的是一个json的这样一个sultrime 这个sultrime里面呢 有两个重要的东西 第一个就是类型 类型就是no 它是概率类型 然后这个呢就是它的这个值 0.95 我们前面说过 它这里是0到1的这么一个伏点数 对不对 那么这个0.9.5其实就是表示一个概率 大家可以反而看作是一个概率 那么这个时候同学就会问了 这个这里有什么用呢 对吧 嗯反正0.95是吧 其实场景是非常多的 比如说 检测用户退款对不对 检测用户退款的话 其实呢 这个东西啊 当然你用XenGPT其实也可以回答 是不是 你丢给一个啊 就是用户的这个用户的信息啊 直接给到这个GPT 他也可以回答 说这个用户到底会不会退款 对不对 但是呢其实呢 那个东西有点什么 有点这个杀鸡又牛肉的感觉 其实这种需求呢 其实有更简单的方式去实现 就是所谓的Jell这种方式对吧 那么检测用户退款请求 这用户呢可能是一个信息发过来 那么给到Jell这个模型 那么Jell呢 直接就回答一个概率就可以了 比如说 用户呢不会退款 他就可能就返回给你 对不对 如果会退款 那么就返回这个 比如说0.9或者1就可以了 对不对 那么这样子其实非常方便的解决这个问题 那么它这个 它的成本会远远的低于这个 用GPT来解决这个问题 而且这个速度也会快很多 它的这个延迟的时间是500毫秒 它那个GPT那是几秒钟 对不对 所以它用它这种方式来解决 这个问题的话 其实是成本更低 然后那速度呢更好 是不是速度更快 效率更高 然後我們再來看第二個類型,就是Close類型。 這個什麼意思呢?也就是說,我們在去提供上下文的時候,其實是會帶好幾個選項過去的。 然后呢 这个这个模型说到这个 这个上下和和这个问题之后呢 他会选择其中的一个来作为回答 就是做选择题嘛 就ABC第四个选项 他选一个告诉你 好那么其实这个呢 就是他换回的结果 假设他这个提供的选项 有三个选项啊 一个是binim 这个是结算 然后这个是技术 然后是销售 就是三百三个部门啊 对吧 然后这里面他会选一个 他选择这个billion这个部门 就他选一个 你给他三个选项 他选一个出来 那这有时候这个东西 哪里有这个场景多不多呢 这个很多嘛 对不对 很多重要的场景 比如说这个三件商品 让他选一个 是不是 那其实这种场景是非常多的 是不是 OK我们来看一下 这个关键 只有关键的这个字段 这个是truth 就是概率最高的选项名称 就这个 就概率最高的 他选一个出来 就是ABCD四个选项 他选一个出来 他说不一定是ABCD四个选项 他最多可以255个选项 选项可以很多 你把它列出来 他会选一个出来 然后这个呢 就是概率的总和 就是所有或选项的完整的概率分布 那如果说是255个选项呢 那么就会列出255个选项 每一个选项的概率 那么这个trose这里呢 其实概念最高的那一个 那么这个是confidence 自信度啊 模型对本次分类结果的自信度 那么数值越高呢 就分类呢越确定 好那我们看一下这个自信度是0.8 对吧这是比较高的 是不是当然我们在进行 决策的时候呢 你可以跟这个自信度来进行 评估哈 就是如果自信度高于0.8 或者说高于0.7 我们就可以选择这样的一个结果 就是所谓的决策模型的 价值在这里面 好让我们再看第三个啊 就是score啊 打分啊 打个分数 啊 那么它的特点就是连续打分 各级别概率分布啊 confidence 知性度 我们来看一下这个结果啊 那么 通常它会去 比如说你给它三个选项啊 你给它一个问 就是说你给给问 给上下文给问题 然后提供选项 好那么它反而结果里面呢 它就会对三个选项呢 每个选项打一个分数 我们来看一下啊 好 它的分数是 非诊数打分值 这个是I.86 对不对 知情度是0.94 然后它提供了三个选项 这三个选项 评鉴 轻微不满 生气 极度愤怒 对吧 好上面就是分数 这个第一个评鉴 就是0.0分 就是不评鉴 对吧 OK 这里是0.0爱 这个轻微不满 对应的分数是0.0爱 然后这个是0.1 好 这个生气 然后极度愤怒 是年点88 那么这个分数最高了 对不对 那如果说你是基于这个分数来进行 啊 决策的话 那么你可能会选这个是不是 啊 这个其实就是对于 多个选项 进行打一个分数 啊 这个其实也是长期很多 啊 这个是 呃 我们的Jill这个模型啊 它的 返回结果的三个可能性 OK啊 三种结果 好 那么先怎么总结一下 Jill输出的关键的特性啊 第二点就是 年文本幻觉 它输出结构是强制约定的 宁格式错误 不乱增自断 然后是拼尿变形计算的 一次请就变形处理所有 然后校准级概念 直接预计分支 那么低分支可以人工复制 它会有一个知性度给你 然后输出你的费用 它这个模型输出是不收费的 你用它这个模型输出是不收费的 而且输入的成本也是非常低 它是我们使用 GPT的成本大概就是100万Token 对吧 就一兆 大概就是10美元 10美元 那么他这个 大概就是100万 大概就是0.0.4万美元 就是他这个10美元 他这个年纪年4万美元 所以他的成本低很多 那么也就是说 我们在实际上面进行 在做应用的时候呢 那么其实就给了我们很多的选择 有些场景其实并不完全需要 由GPT或者说 Close这种模型来进行处理 我们完全可以把它交给什么 交给我们的JP这种模型来处理 对不对 所以他们这其实是这样写的关系 并不是说替代的关系 并不是这样子 好那么接下来我们给大家看一个案例 就是到底它是怎么用的 这个东西 我们来看一下 官网上面提供了一个案例 我们直接来看到官网就可以了 好吧 就是汉缩入门 大家可以到这个网站 去看一下它的官网上面提供了一个案例 那么当然首先呢 我们需要去申请 申请 如果说你要使用的话 你需要到它的控制台去申请一个API-KIT 申请还是比较容易的 OK 然后得到一个接口之后呢 你就可以来进行使用了 好 那么这里呢 是CURL这个方式来去发行一个请求 你需要提供的是一个API-K 这是它的接口 然后你提供哪些数据呢 这个数据是State 大家可以把State看作是上线文 OK 这个是它的上线文 是在英文是吧 我们把它翻译一下 什么意思 OK 好 这个上线文是这样子 你好 我已经尝试您借我的strip账户三天了 但其实一直失败 我的销售正在锦上 请尽快帮我帮助我 对吧 这个东西 这个内容应该是一个 是一个street的客户是吧 在在咨询对吧 在向客户进行咨询啊 或者说储藏 储藏这么一个信息啊 ok 好 现在我们来看一下啊 这个模型呢 是Jill latest的这个模型 然后问题是什么呢 问题是这样子啊 在下面啊 这个是那个类型 就是你希望用什么类型来回复你这个问题啊 是no 是吧 也就是给个概率就可以了 我们看一下的问题是什么 这个信息的紧迫度 就是表达一下信息的紧迫度 这个内容的紧迫度是什么样子 对不对 那么然后这个时候 这个模型回复一个概率 年到一这样的一个分值过来 一个概率过来 如果说这个值是一的话 那么说明什么 说明这个紧迫度是很高的 对不对 如果是0.95的话 这个紧迫度也是很高的 好 然后我们再来看一下 那其他的这种 这个案例啊 如果说我们是 写代码掉结果 那么我们自己在代码里面 就要这样来写啊 好 那么同样的 它的这个 上下文还是这个啊 还是这个来举例啊 我们看一下它的模型 是Jolatist 好 那么这个下面是问题啊 它其实是什么呢 呃 它是它什么 它其实是一个一个上下文 它其实是问了三个问题啊 问了三个问题 其实用三种类型来问好 这个是choose choose ok 这个呢就是它的问题 哪一个团队呢 来处理这样的一个事情 对吧 提供了三个选项 这个是结算这个团队 这个是技术这个团队 这个销售这个团队 这提供了三个选项 因為我們說過,truth嘛,對不對? 你是要大模型給你做選擇,所以你提供這個選項給他。 像ABCD,做選擇題,是這樣子。 好,我們看第二個,就是分數,score,使用這個類型來進行回答。 回答好那么他是什么呢 呃这个现在这个客户的这个什么啊 失望度呢怎么样对吗啊啊 什么怎么样啊OK 他同样的提供了三个什么呢 三种可能啊 第一个呢就是冷静 第二个呢是失望 而第三个是非常生气 就是你要根据什么 根据这个上下文来去对于这三个描述进行打分 打分 OK好我们再看第三个啊 第三个就是什么呢 那Noah这种类型其实就是 概率对吧是概率这个 那么也就是说你的问题一定是跟概率相关的是吧 这个信息它到底 也表示了它多么紧迫对吧 ok 那么这个时候你回答一个概率就可以了 好 我们再来看一下它的回答 因为你这里是三个类型的问题对吧 三个类型的问题 所以它的回答也是三个类型的 我们看choose choose就是 它首先要做出一个选择对吧 ABCD要选一个选一个选一个答案 对不对啊 但是结果是技术部门是吧 技术部门来处理这个问题啊 之前都是0.78啊 然后当然他也会给三个选项呢 每一个打一个分数啊 我们看第二个第二个问题 第二个问题是打分对吧 打分啊打分的话 他会对于三个情绪啊 但见到打分那很明显啊 这个呢呃 第二个情绪他的这个分值是会高的 也就是他当前的用户所表达这个情绪 应该是这个是吧 啊 是这个 这个情绪啊 好我们看最后这个啊 最后这个是要表 要是输出一个概率是不是 然后直接给了一个概率是不是 这个最简单的啊 一点点说明这个事情的紧迫度啊 是非常非常大的 对不
本次執行流程與問題處理
下達指令
預期流程
- 自動字幕優先，Whisper 作為備援
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：158.2 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：52.4 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：0.4 秒
關係：依序執行
結果：完成
4. 句子密度平衡
工具：videonote_balance_sentence_units.py
處理：平衡句子長度與密度
產出：sentence_units.json（句子單元）
耗時：0.5 秒
關係：依序執行
結果：完成
5. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：0.5 秒
關係：依序執行
結果：完成
6. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：0.6 秒
關係：依序執行
結果：完成
7. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：0.6 秒
關係：依序執行
結果：完成
8. 逐字稿交叉檢查
工具：videonote_cross_check_transcript.py
處理：交叉檢查逐字稿與來源字幕
產出：transcript_crosscheck_report.json（交叉檢查）
耗時：0.6 秒
關係：依序執行
結果：完成
9. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：0.7 秒
關係：依序執行
結果：完成
10. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：164.4 秒
關係：依序執行
結果：完成
11. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：0.4 秒
關係：依序執行
結果：完成
12. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：0.5 秒
關係：依序執行
結果：完成
手動來源字幕
- 尚未產生
自動來源字幕
Whisper 字幕
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
- 校正前 transcript.whisper.json 純文字 JSON
- 校正後 transcript.json 純文字 JSON
目前待解決問題與初步改善方向
- 逐字稿全文快速校讀未完成
已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。；RAPID_REVIEW_STATUS=REVIEW_REQUIRED_INVALID_OUTPUT
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。