逐字稿文字預覽
只是说Openai它没有像Meta那样强的 商业生态的闭环能力 它商业化的场景上面比较弱 如果说都是面对ToC场景的话 我认为它们比拼的方向不同Dot呢 它更加偏向于高质量的生产和执行 而Muse呢更加偏向于 普通小白就可以快速 掌握的c端的查询和消费 我们可以用chatgpt Dot云环境 加上Git Hub整合起来形成 一套非常厉害的工作系统 形成一个非常有效的工作平台 大家好欢迎来到灵姐说AI 9月30号Openai的devday大家有看吗 今天这期视频啊 跟大家聊聊开发者大会 以及它其中最重要 的一个发布的热点叫做Dot 关于这个发布会啊 它有7个重要的发布 实际上我认为它有内在逻辑 不知道你看懂了没有 而且Dot已经在逐步的灰度中了 我刚刚已经试用上了 会有非常多的感受和体会 要在这期节目和 大家去分享我的实操 还有一个点啊 前段时间也是刚刚跟大家 分享了非常爆火的Meta的Muse 而没过多久 Openai把它的Dot也推上线了 为什么personal agents 个人助理这个赛道 大家如此之关注呢 在这期节目啊 也会和大家去聊一聊 我自己呢 设计了从浅入深的 一系列的测评项目 去试了试这个DOT的能力 而从我的这个测评中啊 听完我的讲解 你会更加理解Openai这一次 开发者大会的这一系列发布 它究竟在做一个什么样的操作 我们先一起来概览 一下这一次开发者大会 Openai做了哪些重要的发布 7个发布啊 第一个Dot也是这一次受大家 关注最热门最热点的一个产品 它实际上解决的是什么 一个7*24小时在线的助理 always on AI agent 这个也是我们这一期 视频最重要的主题 第二个重要发布 decision API 一个快速结构化的做 判断的一个API的模型接口 这个有没有让你 想起什么熟悉的东西 就在两周前爆火的JEV模型 当时我就断言 像一些大的AI厂商会很快的出类似 的这种快速响应判断的类似的模型 像Jev一样 关于第二个点啊 我也会专门做一期节目 跟大家去点评分享怎么 使用类似这样的判断模型 去发挥它的大的价值 第三个发布是GPT6.1Sol 一个新的模型的发布 它这里声称啊 GPT6.1Sol的模型能力接近Astra 但是成本显著下降 第四个发布点 Codex的cloud云端发布 coding agent现在可以从本机 走向在云端开始工作了 第五个点 GPT的共享空间的发布 这个发布呢 意味着人和agent会共享工作空间 第六块插件以及定制化的GPT的迁移 大家都快忘了原来的GPT s了 现在好像又重出江湖了 现在GPT又开始重新形成 真正的应用和技能的生态 第七个也是最不讨喜的一个发布 就是500刀这个档位的发布 它出了一个叫做Ultra fast 极快的这么一个档位 原来的200刀的20X的这个 档位被降档为了10X 关于重新开放200刀这个档位的购买 已经被很多社区 很多开发者喷成筛子了 哪怕Tibo给大家发了一个重置卡 也获得了非常多的负面反应 如果说真的不差预算的话 我还是非常建议大家去买这个500刀 虽然说现在你花500刀可能 买到的TOKEN额度 是之前200刀的额度啊 但是呢按照Openai以往的惯例 现在这个时间点 你买500刀的这个档位 应该能够获得很多额外的东西 速度也是非常快的 而且我预估啊 未来很可能会有1,000刀 这种档位都是有可能的 同时呢在这里我讲一个观点啊 你看这7个发布的时候啊实际上 看上去它们没有直接相关 但是我自己用下来 我自己对整个的判断的思考我认为 实际上所有的这些发布 它都是围绕Dot的 因为我觉得Openai是希望 做成一个7*24小时可以托管 全自动的一个工作系统 现在Dot还不太完善 但是我认为Dot如果做好了 它一定会火 关于Dot的具体应用和使用细节 我们放在第三部分来讲 接着我们来讲第二部分 为什么personal agent这个赛道突然火了 而且它不只是火在硅谷 火在meta火在Openai 它也火到了中国的国内 我们看一个时间线啊 在9月8号的时候 Meta它发布了muse 9月下旬 阿里它在它的云栖大会公开的 谈千问要开始向personal agent演进 在9月29号的时候 字节的spell项目被曝光 据说他们中秋国庆期间都 在加班加点的赶制 而也是在9月29号30号 Openai在它的Devday正式推出了Dot 一种可以持续在线替你工作的agent 在9月30号 腾讯的handy BOT又爆出消息出来 似乎就在今年的9月期间 所有的海内海外的大厂都开始 极度的重视personal agent的这个赛道 而这一切的起点似乎都要回到 muse它爆火点燃行业的那一刻 Muse它爆火 它真正证明的是personal agent这个赛道 它第一次出现了普通消费者 也愿意使用的一个产品信号 你回忆一下 我们之前谈的agent 更多的是在考虑 这个agent能不能工作 包括我们之前聊的traework 千问工作workbody 它都是围绕work在打的 虽然说像千问这样的APP 之前也做过类似的尝试 也希望说在这个APP上面帮你去 点外卖帮你订机票订酒店购物等等 但是在消费者上面的 反应似乎没有那么强烈 但是Muse的爆火 代表着一个重要的行业信号 这个时候agent变成了一个 大众可以接受的大众消费品 而且Muse它跨出了仅仅软件这个层面 它可以连接蓝牙 连接你的物理硬件 Meta本身又有很好的生态去分发 而且你看 不管是Dot还是Muse 它们的语音体系都设计在那里 它们都在描绘一种未来 未来我们和AI的交互 不再需要你去打开聊天窗口 而是它常驻在那里 工作持续的替你解决问题 7*24小时都在线 而我提到7*24小时这个概念 是不是又有一点熟悉呢 是的它就是open Claude的进阶版本呐 但是现在这些大的AI公司 推出的这种进阶版本的agent 是不需要你像Openclaw 那样做很多基础的 很多繁琐的配置的 它是拿上来就能用 还有个点啊 就是Muse爆火也让 大家看到了一个机会 就是personal agents 它最大的核心要点 不一定是模型能力 是对用户三种权利的竞争 第一层权利是Codex的权利 就是上下文嘛 谁更早更快更深入的了解你 为什么这些大厂这么着急 我先做出来就有机会 先去获取你的上下文 一旦上下文加载得非常长 非常丰富 用户去迁移的成本是非常高的 过去我们用搜索引擎 搜索引擎知道我们想看什么 我们用一些推荐算法 这些算法知道我们喜欢什么 想买什么 a personal agent 他要了解用户是谁 最近在干什么 过去发生了什么 接下来要准备做什么 不管他们讲的什么长期记忆呀 什么context啊 或者是Openai Dot 这是他强调叫什么 get to know what matters to you 什么对你重要 其实都在抢这个用户 长期上下文的所有权 第二层抢的是action的权利 就我不仅要知道你怎么想 我还要有资格帮你做具体的事情 你看我们一进入到一个personal agent 它首先第一件事 像Openai的Dot 先让你连接谷歌的Gmail 还有各种的云端服务器 各种的账户的授权 这个就是抢它的action的权利 为什么亚马逊会封杀muse 实际上就是在封杀它的action的权利 封杀它帮用户完成购物的权利 你可以在这里查 但是如果你不在这里行动 哎你中间的链路是断掉的 你还是有机会迁移到别的平台的 如果这个personal agent希望 和用户咬合的更深 不仅仅成为新的流量入口 它就需要把action这个权利 把各种的授权身份披露 安全等等问题解决掉 第三个呢 我认为就是transaction交易权 这个交易权可比前面 两个的权利的层次更加狠 更加深入 本质上是什么 这三层抢的就是在AI时代的流量 入口和完成整个交易闭环的权利 另外呢虽然中国美国都在抢 这个personal agent的入口 都在抢这个趋势 但是我认为未来这个personal agent 可能在硅谷和在中国最后呈现 出来的形态很可能是不同的 美国这边的公司呢 它更加倾向于尝试做用户的agent 像Meta这样的agent啊 虽然说亚马逊封杀了它 但是我认为像品牌方和那些纯粹做 交易端的平台方仍然对它是欢迎的 他把Meta作为一个重要的入口 给他渠道的费用 而且这个商业模式本身就是存在的 他作为中间的渠道商 他抽取一点点渠道的费用 这样的分佣机制本身就是成熟的 而中国的大厂 我认为短期内更可能把这样 的personal agent做成生态型的agent 一个真正的personal agent 它是围绕用户的需求去展开的 啊我要写邮件 我要用云数据 我要去其他地方购物 它就会给我去展开 不同的这个相应的APP 像Openai它是一个AI原生的公司 它不存在电商购物订机票订 酒店这样的生态服务在它的 这个公司的生态里面围绕 所以它是完全可以围绕 用户本身的需求去展开的 只要你连接到了我的 连接器的生态里面就可以了 但是国内的一些大厂就不同了 千问它最懂的是淘宝的生态 腾讯它最懂的是微信生态 而豆包它最接近手机的操作层 Meta它掌握了很多的社交关系和APP 而Openai它现在的Dot是可以站在一个 中立的生态位去做各方向的连接的 当然未来啊 有可能它会有屁股 现在它还是一个中立的状态 而这些生态和各个大厂间的关系 我觉得也是未来一年的竞争格局 和竞争结构中非常有意思的地方 接下来我们进入到第三部分 Dot实操的体验和理解 我们先来看 这里是Dot的界面 很多人啊 会陆续的收到推送 在左侧这个位置啊 可以点击your Dot 就进入到创建你的Dot的界面 在这里我们先点击继续 一进来之后 它会就让你主动的做各种连接 连接谷歌的日历通讯录 drive邮箱等一系列的插件 为了更丝滑的体验 可以直接选择默认的连接 然后在这里啊 它让你选择你的Dot在哪里运行 一个是your Dot computer 就是你的云端的一个电脑 还有一个是本机电脑 你想过没有 现在我们用chatgpt 实际上有两种类型的端 一类是网页端 一类是桌面端 而网页端和桌面端 你觉得最大的区别是什么 最大的区别 实际上就是网页端所有的内容 它都是云上的 都是在线的 但是你本机的此电脑的很多东西 它不是完全在线化的 它有很多内容就是 存在你的Mac电脑上面的 包括它的系统环境 还有本地的一些插件 未来Dot可能把网页端和桌面端 全部就拉平了 全部都是在线化的 无非是现在它的算力空间 云端的服务器不足 这里我们就直接点击继续就可以了 根据它的引导 我们可以设置这个Dot的 能力和它的这个图标 我这里把它的名字叫做0DOT 颜色呢我选择亮黄色 好进入了Dot 现在我还什么没说 它就问我 看看有什么事能帮我推进 它这里帮我扫描到了我在 谷歌邮箱的两条新的邮件 刚刚我在创建Dot的时候 我连接了我的谷歌邮箱 在这里呢 它就直接给我推送了我 邮箱里面的重要的事项 但是明显的 它是有关于我的记忆的 因为它知道是我频道相关的邮件 它是有我的一定的上下文的 我可以点击这里的链接 查看邮件 就可以跳转到我的邮箱去处理 这里呢我就直接可以跟Dot说 让他帮我去处理邮件 我说帮我回复一下某一封邮件 他就根据我以往的邮件 内容给了我一些建议 然后问我的意见之后 直接他就回复掉了 实际上现在我基本上 已经不再自己看邮件了 我大部分时间是让我的Codex 让GPT定期的帮我收邮件 那我在GPT上面运行的时候呢 因为它知道我的使用习惯 每次回复邮件的时候会先跟我确认 邮件的内容草稿 我确定这个发送的内容ok之后 它才会真实的帮我发邮件 这里它就直接问也不问 大概的意思了解后直接发送掉了 当然我也去看了邮件 的实际的这个行文 他回复邮件的表达 是没有任何问题的 另外呢点击右侧 在头像这个地方 大家可以看到有一个打电话的标志 大家连接好就可以拨打电话 把你的Mac电脑的 麦克风等等设备打开 大家可以听一下我的 几段跟他打的这个电话 这里提的任务啊 和我之前使用Muse 那个agent我是对标的 我是用来对比两个测试 出来的结果和效果怎么样 来对比Dot agent和Muse agent它们的 能力结构和差异点在哪里 同样的我跟他说啊 我要做10万的粉丝的订阅 我应该做哪些 也像Muse agents测评那一期 我也接着给他提要求说 我会有500美金的预算 我想提升我的节目质感 我可以做哪些努力 我想换一个新的麦克风 应该选择哪一款 整体打电话的过程呢 我觉得是有一点点卡顿的 然后我在跟他打电话的过程中 他的这个文字啊 是没有实时的铺在我跟他 的这个对话聊天过程的 他有一定的延迟 可能跟网络有关系 很多对话的聊天记录 是我和他的网络对话结束之后 他给我铺成到这个聊天窗口 出现一个文字的 如果大家在使用这个 打电话的功能的时候 一开始用不了 大家多试几次啊 因为最开始的时候我 用也打不通这个电话 在整个的对话过程中 包括使用文字版或者 是语音对话的过程中 我发现他的速度和Muse比是比较慢的 我估计大概率因为Muse它使用的 模型的强度和能力会弱一些 这一边使用的基础模型 它本身能力又强一点 使用的时间会更长一点 再加上网络延迟 整个Dot它的语音对话和使用 体验我认为没有那么快 它的速度反应会慢一点 但是它处理任务的深度会深一点 而且还有一个非常明确的体感 你可以看到Muse那边 它的整个的连接器是比较顺滑的 各种接口都接进去了 啊 1,500多个连接器 前面也给大家看了它的 API的接口弹的很顺滑 但是在这里 包括它的computer use也好 它的整个的操作也好 它的连接器的连接也好 都还是比较硬的 没有那么丝滑 在使用的直接的体感上面 可能目前这个阶段不如muse 而Muse它所覆盖的人群可能小白 可能普通的使用者消费者 它也能够使用 但是Dot它的使用门槛还是相对高的 它处理复杂任务的能力 我认为是远远比Muse强太多太多了 因为它本身的Harness框架非常强 我给它布置了一个非常复杂的任务 当然这个任务其实 涉及到我具体的业务端 没有办法完全的明文给大家看 但是我给大家看其中的一些截图 和我讲解其中的过程和思路啊 对大家也是有启发的 以这个例子为例啊 我要打通我的GPT和飞书的连接 作为信息共享 把它桥接起来 然后呢我要配置这个
本次執行流程與問題處理
下達指令
預期流程
- 採用來源字幕（略過語音辨識）
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：78.6 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：45.6 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：0.6 秒
關係：依序執行
結果：完成
4. 句子密度平衡
工具：videonote_balance_sentence_units.py
處理：平衡句子長度與密度
產出：sentence_units.json（句子單元）
耗時：0.7 秒
關係：依序執行
結果：完成
5. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：0.7 秒
關係：依序執行
結果：完成
6. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：725.9 秒
關係：依序執行
結果：完成
7. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：1.0 秒
關係：依序執行
結果：完成
8. 時間軸整合
工具：videonote_timeline_reconcile.py
處理：整合字幕、Whisper 與 VAD 時間證據
產出：timeline_evidence.json（時間軸證據）
耗時：1.1 秒
關係：依序執行
結果：完成
9. 逐字稿交叉檢查
工具：videonote_cross_check_transcript.py
處理：交叉檢查逐字稿與來源字幕
產出：transcript_crosscheck_report.json（交叉檢查）
耗時：0.2 秒
關係：依序執行
結果：完成
10. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：0.2 秒
關係：依序執行
結果：完成
11. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：134.0 秒
關係：依序執行
結果：完成
12. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：1.1 秒
關係：依序執行
結果：完成
13. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：0.2 秒
關係：依序執行
結果：完成
手動來源字幕
自動來源字幕
Whisper 字幕
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
- 校正前 transcript.source.json 純文字 JSON
- 校正後 transcript.json 純文字 JSON
目前待解決問題與初步改善方向
- 逐字稿全文快速校讀未完成
已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。；RAPID_REVIEW_STATUS=REVIEW_REQUIRED_INVALID_OUTPUT
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。