逐字稿文字預覽
大家好,我是Ked 最近有个模型非常火 它的名字叫Jeff 它不是平常我们对话的那种大语言模型 它是由Type-Safe AI公司开发的一款模型 它的创始人曾经是在OpenAI工作 然后是XGPT的共同作者 Jeff特别适合无人职守的自动化 用它来打游戏也非常好 我们可以通过这个视频了解一下 Jeff能帮我们做什么 如果是正常的大语言模型 它呢就会一个token一个token的 蹦出字来 花费时间8.5秒 那如果是GENF呢 他就会给出几个选项 然后会给出知性度 花费时间0.1秒 如果是让他玩游戏 他呢是 就是由固定的几个操作 往上往右往前 还有Shop Jeff呢他是能 做一个选择分类 评分路由 不能去写诗写代码 或者是一步步的推理 这视频做的还是非常好的 对于开发者来说主要有三种 可以设置第一呢是 Choice选择从选项里选一个 第二是打分score 然后第三是nore 判断陈述是否成立 它是0到1的一个真值的分数 一个请求里呢 可以混合多种问题 模型还可以并行去回答 官方的说法呢 就是把它当成软件里的智能的if 路由打分器 GIF的速度呢 是非常非常快的 而且它的价格尤其的便宜 我召用了200多次 花费了200分 而且TypeSafe呢 现在还提供五刀的一个体验额度 所以我得花很长时间 才能把这个五刀的额度给使用出去 我们可以在TyperSafe里面去加入它的wetlist 如果你特别着急的话 也可以通过OperRouter进行调用 或者是AI Gateway进行调用 它也登陆了Cloud Flare的AI 所以是有多个路径可以调用它的 而且它非常有意思的是 它的输出Token是不收费的 官方给出的理由是 新的架构下输出便宜到不必击费 这里就有一个例子呢 Verso的CTO做了一个测试 它呢对比调用 Gemini 2.5 Flashlight来做分类 Gemini 2.5 Flashlight呢 它的API还是比较便宜的 而将Jeff和Gemini做一个对比 它的据确率更高 而且速度也更快 通过这张图 我们可以看到Jeff 他的质地程度是非常不错的 非常接近于Terra了 但是要比Terra便宜非常多 我们可以在TypeCafe官网右上角 点击它的加入wetlist来申请 现在就来看一下X上面 关于Jeff有哪些精彩的案例 Versal的CEO认为 把他们的FX安全审查 换成Jeff 对面GBT与Luna呢 Jeff的速度快到18倍 而且还更准确 把500封邮件发给Jeff 他仍在几秒内就帮你分类好 而且成本非常低 BOSS CEO认为企业里那些分类路由安全判断们 那现在有了Jeff对大量的企业任务就意义巨大 有用户昨天刚打到权限 他就将Jeff集成到他们的数据管道里 实体识别 情绪分析 把相关信号粘起来等等 他认为都非常惊艳 Jeff有一大应用就是 它在浏览器方面的改进 这浏览器方面的例子呢 比如说七秒查机票 只花了0.0039刀 又快质量又好 知名开源产品CUA 它也是紧跟潮流 立即发了一个 和JF相关的跨系统计算机使用 叫JFUZ 在玩2048的时候 JF的速度快了五倍 成本大约便宜1000倍 比Astra更高效 还有用户呢 将Jeff和OpenCode结合起来测试应用 测试的时候就发现呢 点按钮快到像是在看加速片 Jeff呢 他在浏览器工作上是非常非常便宜的 比如说这样一位用户 他就分享浏览器忘记关了 那消耗了这么多Token 才花费不到七刀 S-Code的作者呢 他用Jeff来控制iOS的模拟器 去建一个日历事件 我们会看到这边会写着 Tapper 然后ScreenChanger 等等 还有用户喊话Sam 让Codex负责规划 Jeff负责从页面选择点谁 有用户 他分享了一个点子 让Jeff去做及时的压缩 给每次突破打分 然后丢掉无关的上下文 我们可以看一下这样的一个例子 绿色的就是留下的 红色的就是删去 也有用户呢 还做了一个Jeff的review 给编码agent呢 接上打分反馈还的一个MCP 不同的AI agent 然后review之后进行打分 给定他一个数值到了哪个程度 那就让他再去优化 有用户就直接做了一个crowd的插件 一秒就把绘画从近100万 Token上下无人长度压缩到8.6万 这里展示压缩前后的一些情况 有兴趣的话大家去看一下 Rosa的工程师说 每个AgentHannis 现在都能用上Jeff 通过这样的工具 也有用户给OpenCode写了一个插件 自拦语言写规则 Jeff拦住每一条道路 还有用户使用Jeff光速给提交 打安全补丁的标签 当然Jeff来做意向调研也是非常好的 比如说这样的一位用户做的一个分享 也有用户花了8个小时 让Jeff做一个爆款铁分类器 他认为Jeff的准确率和Fabla 5.1一样好 但是快了100倍 也有博主呢 让Jeff去分析自己的三千多条帖子 然后找出一些公式 最后这是推荐的主题 也有用户分享 我们可以通过Jeff呢 做一些规则匹配 就可以傻瓜式的将一些文件进行分类了 还有用户呢 把Jeff接到自动驾驶的决策上 他认为Jeff对自动驾驶的影响会非常大 一个用户呢 让Jeff像人一样来复原一个魔方 他能在很快的时间内 来对这个魔方进行转动 视频里是放外了 方便我们去看清楚 还有用户呢 分享 他说他花了一周时间 才把PPO策略 训练到通关的超级马利奥世界里 这里的PPO呢 是尽端策略优化 而Jeff呢 他是花了30分钟就打通了 非常非常恐怖的一个效率 有用户呢就来畅想了 一个Jeff在云电脑上玩Moneycraft 那如果想象1000个11个呢 每一个都在云端自己的电脑上协作 发现新科学 跑实验 设计新药 而且是全天候的 也有用户让Jeff呢 做一些实时的广告拦截 比如说他做了一个插件 然后进入了一个网站 好 Jeff可以很快的就帮他去删掉广告 也有一些开源的仿制 比如说OpenJeff 大家有兴趣的话 可以拓展了解一下 Jeff呢还可以并行预测 每一个像素来画画 Baby AGI的作者呢 还用Jeff来抽图 我们可以看一下这里的demo Flux的作者呢 对Jeff非常非常认可 他认为以前很多场景 用大语言模型 是根本不成立的 今天大家也可以看到 我为什么梳理了那么多案例 实在是Jeff太优秀了 真的是有非常非常多 可以和我们现在的agent 结合在一起使用的玩法 有用户认为呢 Hannis就会被改写 无论是Codas CC 内置这样的dev型的决策 只是时间的问题 Vestal CEO认为 有很多是AI炒的一些热点 但是Jeff是真正站得住的那个产品 他认为Jeff这种AI 可能比今天的大语言模型 更持久的改写我们的工作和产品 因为Jeff输入是非常非常划算的 所以大量的自动化 就会突然变得买得起 说了那么多 已经有人做了一个非常好的仓库 是Orzen Type Safe 仓库里有官方的资源 也有很多社区的项目 比如客户端库和集成 agent和开发者工具 浏览器智能体 机器人交互演示 评测与独立研究等等 非常非常多 而Jeff发布也才两天左右的时间而已 我们使用Jeff也非常简单 进入他的控制台 他有个QuickStar 然后我们可以copy这里的给agent的提示词 就可以在我们电脑上安装TypeSafe的skill 比如这里呢 我呢就调用它的skill 然后让它帮我做一个打游戏的web页面 JPT很快就帮我做出了这样一个游戏 第一章呢 我刚刚已经让Jeff已经游玩过了 我们先看一下这里的游戏指南 可以让Jeff来玩 也可以手动接管 总共有三个章节 Choice它会显示后选动作的真实概率 自信度衡量分布的集中程度 Nord它是单独判断是否急需休息 第一关已经打完了 那现在我来点一下看一下第二关 我们可以观察右侧Jeff的每一步 今天的这个视频我是没有做变速 所以大家可以观察一下 杰弗他的一个速度情况 现在来点击一下 让他开始 它开始收集到原木了 有了原木之后 这里的桥就可以搭建好了 学好之后 它就可以去获取对岸的胡萝卜 然后还有一个胡萝卜 它还没收集好 所以它这里收集一下 再回到她的家 我可以把这里的战报呢进行保存 也就是说他会下载一个Jason文件 右侧我们会看到他的当前章节的目标 这里的概率呢他就写的比较大 所以兔子呢最后就回到影地去了 在探险片号里呢也可以去选择一下 页面的下方还可以看到他的冒险记录 还有他的休息的情况 我呢之前将第一个章节玩的一个战报 然后下载了下来 让AI介绍一下 他说呢 回合 九回合 结局胜利 体力还剩37 葛萝卜的话有五根 第一章节里面 它是没有木头的 下方呢 是兔子走过的路线 日志对应的是什么 决策记录里 我们会看到 用的是Jav的模型 然后第一步是比较慢 这和我当前的网络 当然也有很大关系 后面的话 快乐非常多 大多数的致敬度呢 在0.77到0.96 其中有两步 有欲 因为一开始这个桥呢 没有修复好 所以 Jeff呢就来回 在这三个洪框的点 这里来回折腾 后来我就让Astro来修复了一下 这个游戏 现在我们再来到 它的第三章节 那我这里呢 点击一下手动接管 音效呢也打开了 那我点 点一个 比如说 我这里先点了 除菊小镜 再点一个 萤火炒坡 然后我们会看到还有胡萝卜 然后这里还有木头没有收集到 那我再返回别的地方点一下 这里收集到木头了 再点一下 他说等待修船 那再来让他单独来玩一下 看看他怎么玩 修好潮了 然后再去取胡萝卜 又返回来 他要去取胡萝卜 因为这个设定里呢 它还需要一个金种子 开启石门 所以它最后是在右侧游戏那里去结束的 最后呢再来看一个案例 我呢让Astra做了一个页面 外星人要到地球 那要把外星人的奇怪发言 变成代码执行的判断 左边呢就会有非常多的待检的旅客 总共是有24个 他们长的是有三种样式 名字有各个不同 比如说这里的白展博士 他说旅客的原话是什么样子的 那正常这种情况下 他说他有简易放行证明 点击一下开始扫描 肯定是让它去通过的 Jeff这里呢 他有三个判断 第一是Choice 第二呢是No 那对这样外星人呢 我们就不需要过度的去关注他 然后下方就有一个欢迎雨 欢迎来到地球 决策档案里呢 就会显示刚刚做了那些决策 实测的实验室里呢 这是之前跑过的一次例子 这是24条人工编写的一个称式情境 每条呢 向真实的Jeff来发送 同一state下的三个独立问题 参考标签不会传给模型 比如说 这里的参考通道啊 是哪个 那就不会发给Jeff 通过这个测试呢 就可以比对人工写的参考信息 和Jeff判断的结果之间的一些差别 最后的对照里面呢 会说明他们的状态 那我这里呢 再点击一下重新实测 我是开了最多的10号病房 那我们可以看到呢 它是成功完成 参考是有91% 是一致的 耗时当然是非常短的 实际耗用了这些token 那我再点一下 来进行测试 这个刚刚的测试结果也是一样的 不过呢每次测试不一定是完全一样的 所以有的时候可能像这里是百分百 然后下方我们可以看一下有哪些地方是不一致 比如说这对这个外星人的一个分析 然后参考认为是可以常规路径的 而Jeff认为需要深度调查 对这两位外星人人工分析和Jeff判断有不一致的情况 我们看一下他为什么对这里呢是要人工复合呢 这位外星人他说 他运送了一件武器外星的博物馆空壳 内部完全猜出 确认没有什么什么什么 还有附有检查证明 以上就是今天介绍Jeff的所有内容 这个模型对于我们日常工作 还是有非常大的帮助的 非常推荐大家去了解它 记得看社区里面 Alson TypeSafe的仓库 希望我的视频对你有帮助 我们下期再见
本次執行流程與問題處理
下達指令
預期流程
- 下載與語音辨識
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：902.5 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：44.9 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：1.0 秒
關係：依序執行
結果：完成
4. 句子密度平衡
工具：videonote_balance_sentence_units.py
處理：平衡句子長度與密度
產出：sentence_units.json（句子單元）
耗時：0.0 秒
關係：依序執行
結果：完成
5. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：0.1 秒
關係：依序執行
結果：完成
6. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：0.1 秒
關係：依序執行
結果：完成
7. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：0.1 秒
關係：依序執行
結果：完成
8. 逐字稿交叉檢查
工具：videonote_cross_check_transcript.py
處理：交叉檢查逐字稿與來源字幕
產出：transcript_crosscheck_report.json（交叉檢查）
耗時：0.2 秒
關係：依序執行
結果：完成
9. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：0.2 秒
關係：依序執行
結果：完成
10. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：144.8 秒
關係：依序執行
結果：完成
11. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：0.9 秒
關係：依序執行
結果：完成
12. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：1.0 秒
關係：依序執行
結果：完成
手動來源字幕
- 尚未產生
自動來源字幕
Whisper 字幕
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
- 校正前 transcript.whisper.json 純文字 JSON
- 校正後 transcript.json 純文字 JSON
目前待解決問題與初步改善方向
- 逐字稿全文快速校讀未完成
已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。；RAPID_REVIEW_STATUS=REVIEW_REQUIRED_INVALID_OUTPUT
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。