逐字稿文字預覽
我给Octop记忆定义的就是给Agent一个能带走的记忆 我们的多专家多Agent的并行 如何来重录我们的记忆 Hello 大家好 大家晚上好 欢迎大家来到今天的直播间 我是今天的主持人娇娇 欢迎大家再次来到云上AI工坊的直播间 那么今天这期的主角是Octop 一个刚刚开源的自演的AI助手 今天我们也会针对他多专家多用户 多Agent的并行这样子的一个特征 去采取一些实战的案例分析 比如说我不知道直播间的各位 有没有一些做行业分析 竞品分析这样子的一个日常的工作需求 那么我们也会针对这样子的一个 实战的场景来打造这个Octop重塑 竞品分析工作流这样子的一个实战案例 同时也会涉及到一些多agent的博弈 比如说大家不知道喜不喜欢吃豆腐脑 我们本场直播也会给大家在线 围观一下这个豆腐脑 AI它是如何进行填写的辩论的 同时大家上一场直播中 其实也有关注到 我们这个Octop它的一个记忆机制是怎么样的 什么东西是该记忆的 什么是该召回的 那么本场直播大家不用着急 我们也会给大家详细的去拆解Octop的记忆机制 话不多说 我们也简要的介绍一下今天的两位嘉宾 首先是Octop的研发工程师英宁 另外一位杨直 也是我们的Octop的研发工程师 我们先来讲 本期的一个Octop基础的模块介绍 就是记忆 我上一期应该就是给大家演示了 我们Octop的记忆面板 然后这期我们会给大家详细带来一下 Octop的记忆 它是怎么记的 它又为什么好 话不多说 让我们开始 首先可以看到标题 我给Octop记忆定义的就是 给Agent一个能带走的记忆 如果想到能带走 我想问一下杨直跟焦焦 首先想到的是什么 它一定可以从不管是Open Cloud还是Harmor 都可以迁积到我们的Octob 对 是的 我也是这样想的 是的 那其实就是这样 不知道现在在看直播的朋友 有没有我们以前的老用户 给大家说一下 我们的Octob其实是有个前身 就是叫LiCloud ACE 如果一直关注咱们腾讯服务器直播间的朋友 应该听说过这个产品或名词 现在我们推出了全新升级版Octob 同时我们也在GitHub开源了 感兴趣的粉丝朋友们也可以去搜索Octop 看看我们的代码给我们提交PR或issue 也请多多fork我们仓库以及给我们start 是的 欢迎提论区的大佬们 多多的为我们的项目去提出建设性的意见 首先那继续给大家讲解记忆 那我们现在记忆其实现在是一个七层的记忆结构 和两条相反的流水线 那两条方向相反流水线是什么 就是沉淀和召回 其实这两个名词有点晦涩难懂 但是没有关系 后面听我讲大家就能懂了 首先给大家介绍一下Octop memory是什么 它其实是一个面向agent的可插拔长期记忆系统 也就是它其实不只适用于我们Octop 因为在我们推出AC的memory的时候 其实很多粉丝朋友就问 说那如果你们一直在说你们memory好 那能不能做个独立的插件 像外面的那些memory插件一样 他们就是想接在OpenCloud使用 接在Hermus使用 当时给大家的回复是 我们未来会推出 那现在随着我们全新升级的Octop推出 对我们Octop Memory 也迎来一个可插拔的长期记忆系统 现在我们Octop Memory也支持 就是在Hermus上使用 在OpenCloud上使用 以及刚刚我们说可以带走的记忆 也就是说你的记忆 其实是跟着我们Octop Memory走 并不是说是依赖agent本身 如果你在Octop上 你就是用了一段时间 你想我带着这份记忆 我去试一下 那OpenCloud是怎么样的 Hermes是怎么样的 是不是你们Octop真的说着 比OpenCloudHermes好 那是真的好吗 那没关系 你就可以带着我们的记忆 去实地感受一下 对我们现在是可以支持 这个功能的 那是不是可以理解为 只要拥有这个插件 其实我们的记忆就可以灵活的 OpenCloud Hermes之间去牵引使用 是的是的就是这样的 对 那这个功能也太方便了 那真的是一个挺大的优势 是的 因为之前我们每个组件都是聚合在一起的 是在我们前身ACE版本 如果了解的粉丝朋友应该也知道 但我们现在随着我们全新的功能升级 我们架构也迎来了一个升级 在后面我们也会陆续开源我们每个组件 如果感兴趣的朋友 可以先给我们仓库点个star 或后续我们开源其他组件 我们也会通知各位观众朋友 对 是的 大家把这个star给点起来 我刚刚其实也介绍了 我们Octop在最上层 然后我们也有browser 也有givet 包括我们的运行时 那今天我们其实要给大家带来的是 Octop Memory 在介绍Octop Memory之前 那其实今天还没有遇到那个经典问题 我包括在之前来到直播间 大概五六七八次 不管是在建议的时候 或者是Octop的时候 粉丝朋友总会在评论区问 那你们跟谁谁有什么不一样 那之前其实都是很口语化的给大家解答 但是今天我作为一个经验丰富的老主播 我就是预设到了这个问题 那我就是加了一页HTML 跟大家好好讲讲 我们on top到底跟别人有什么不一样 其实可以从四维看见 其实就有四个维度 一个是多用户 一个是个人 以及一个是编码场景 一个是通用办公和生活场景 那这时候其实我想问一下 焦焦和杨直 其实正好是一个运营同学 一个研发同学 那你们在工作中 其实用哪个agent用的比较多 其实我在日常工作中 这几个都有使用 首先就是我们云上的这个lighthouse 是我自己一直持续有氧的 我们的一个桌面的agentworkbody 其实也有在使用的 我觉得他们可能在不同的场景 和不同的任务 它各有优利 这几个都有使用 那我平时觉得 Workbody去做一些 文档编辑是很方便的 对 但对于一个研发工程师 可能来说 像Codex 像Cloudcode这种编码 包括我们的腾讯 推出的Codebody 也是非常好的一个编码工具 这些都在使用 粉丝朋友也有说 有用这个Workbody 有用Hermes都在用 对 我也看到一个问题 是说这个记忆写入时 有没有去重合 冲突的消解机制 如何处理 同一事实的不同表述 这个问题挺好的 对 看来这个Nome粉丝朋友 其实是有关注记忆组件的 那其实我们去虫和冲突消解机制是有的 其实先给大家看一下后续的PPT 那我们其实有七层结构 第一层是memory.md 如果养过虾的朋友可能就知道它是什么 对于Open Cloud和Hermas 它都会全量进入一个上下文 做一个比较全的记忆 当然我们也会同步这个操作场景 对于我们自己的记忆 首先我们就有一个ROEvent 就是一个最底层的事实 也就是对话数据源 然后我们会有一个Candidate 如果我们会有一套记忆的上升规则 就是关于长期记忆 有事实记忆 有情景记忆 以及用户的一些信息 那如果你触发到了我们的规则 那就会进入Candidate 那在Candidate层 那这个记忆会做什么 其实就是一个沉淀 那首先他会去判断你的 这条记忆是闲聊噪声还是真的是实 如果是重要性低和自信度低的话 他就会选择一个丢弃 其实我们这个记忆其实最重要的就是 他必须正确 就是他永远都会有一个reference 可以指挥刚刚我们所谓的Rone Event 一个Elling的原始事件 因为这样我们 我当时在考虑做这个记忆的时候 其实想打造成一个可追溯的记忆 并不是说像OpenCloud或者Hermas一样 如果大模型觉得该写 他就去写这个memory.md 后面可能记错了 或者说是记的事实有误的时候 其实想追溯 你其实并不知道 他是什么时候把这个错误信息写了进去 所以我在设计这个记系统的时候 就有非常严苛的reference地址 如果过了这两道检查关卡 其实就会到一个我们的entity 那这里可能就会有朋友问的去重合冲突 那其实在entity这里 可以给大家先在我们这里看一眼 那其实我们会有个记忆数 那其实每个entity下面 每个主体下面都会有记忆 那如果有一条新的记忆进来 它会看是属于这个user自己的 或者是哪个人物的 或者是某个事实的 当然你有了这些事实和人物之后 你觉得这条记忆不好或者不重要 或者你不想让它参与以后的记忆交回 你可以把它弃用掉 对 一 这个冲突消解会是在这个entity的时候 它会读取你之前的记忆 然后进行一个entity的重构 你看这里也有 如果和事实矛盾 它会进冲突对立 如果冲突对立在哪 其实是在我们的记忆沉淀这里 那我现在没有冲突的 如果有冲突的 它会希望你去check 对 看如果存在矛盾 就尽 如果你点采纳 或你可以点轰略 但是如果你七天没有的话 它会判断是新的记忆自动采纳 对 我们先给大家回答一下 几个高频的问题 就是说我们的October和其他的产品 它的定位有什么不同 以及它的优势在哪里 先给大家讲完 我们待会儿 我也会详细地讲解到记忆 大家有关于记忆的 可以一起提问 那其实从包括 我其实刚刚也问了 焦焦和扬之两个问题 那其实研发可能就用Cloud Code 用Codex 包括我们公司的Codebody比较多 办公可能就是我们Workbody 现在其实也有些同事 会用CC或者Codex 就是做一个办公场景的Agent 生活场景其实就是OpenCloud Hermes 我们其实是处于这个项线位 那其实首先比起个人 我们Oktop肯定是多用户的 我们是支持多用户 如果上一期直播 Octop第一期直播 没有看的观众朋友们 可能是这里可以给大家介绍一下 你在一台服务器 部署了我们Octop 你有一个主用户 你也可以创建许多子用户 去分给你 不管是家人朋友 你们可以一起共享这个Octop 他们彼此之间的工作空间和记忆 是隔离的 只有一个龙虾 就可以供一个小团队 或者一家人去使用 对 不同的A型 可以用不同的记忆 对的 刚刚说到 不同的Agent 首先每个用户肯定记忆隔离 其实上期直播也讲了多agent 我们在一个用户的多agent下 每个agent也是记忆隔离的 这样就是防止我们记忆紊乱 对 是的 到我们的粉丝朋友 开头的问 Octob是一个桌面应用程序吗 这也是涉及到我们的定位问题 Octob我们现在是一个开源的一个agent 我们未来会推出轻量云应用镜像 我们也支持PWA安装成应用程序 PWA安装在桌面上 如果后续有期待桌面客户端 我们有精力也会投入 最多可以支持用户 最多就应该是看你服务系性能了 如果你买个很多 8核8G或者多核多G 其实就可以承载很多个用户 还有粉丝朋友问 这个目的是用在 OnCloud Hermes Workbody上面吗 其实我们就是一个独立的agent 对 独立的agent 就是跟OpenCloud Hermas Workbody 我们同位agent 可能有些相似或不同的功能 其实刚刚就讲到 首先我们是独用户 我们其实是 办公和生活场景 都是比较通用的 像我们Octop可以用来做PPT 包括后面养殖会演示的竞品调研 同时关注过我们直播间的朋友 我们之前有个很火的直播 就是我们的产品 Anthel 他在用ACE养娃 对这个场景也同时迁移到了我们的Octop上 大家也可以尝试一下用Octop养花 对包括我自己啊 我在用Octop做我的健康管理助手 对其实办公和生活场景我们都能cover 大家感兴趣的话可以都试一下 可以直接作为记忆题给Workbody 也就是我们的Hanath Memory 也就是我们的Octop Memory 我们现在还没有提供接入Workbody的记忆 Workbody我理解他们应该有一个原生的记忆 对我其实下面列了 我们到底和别的记忆 有什么不一样 那Workbody它其实 记忆是产品内封装的 如果后续大家感兴趣 可以说去看看 怎么合作对接一下 对 我问了一个非常经典的 为啥叫Octop 其实上一期直播 也有朋友问 那给我们取这个名字 其实是我们的一名主播 他原来想一个名字 叫Octopus 就是Octopus 就是章鱼 因为我们多用户 多专家 还有多智能体非常多 就像章鱼非常多的触手一样 所以我们想了Octopus 但是为了一是好发音 二是我们比较想要Top这个后缀 所以我们改名叫On Top 那我看我们也是列举了 不同的形态的Agent的区别 您这一块可以给我们详细的介绍一下吗 直播间的粉丝朋友们可以截图保存 大家如果对这一块 不仔细的可以截图保存一下 其实我理解大家问的最多应该是Open Cloud Hermes 跟我们到底有什么不一样 其实Cloud Code和Codex就是一个编码agent 大家用的最多的也是我们直播间出现最多的 就是Open Cloud Hermes 然后它跟我们一个最大区别是 我们其实是一个多专家 包括一个用户你可以创建非常多的专家 也就是你可以就比如我和杨直 我们俩是一个小团队 我是Admin 我可以创建我自己的生活助理和办公助理 这两个助理都在Octop 都使用一个Octop 他们工作区和记忆是完全隔离的 同时我还可以创建一个子用户给杨指 杨指也可以创建属于他自己的多专家 对 每个专家对于IM渠道都是隔离的 所以如果想要就可以生活场景 就在微信上接入 办公场景 我们就连飞书或起飞或丁丁 我们也都支持 对 其实这是一个最大的不同 像OpenCloud和Hermes 他们都是个人Agent 包括他们也只支持单人用户 我们是多用户 然后一人部署全家 关键问题是 你这个产品支持多少个通道 我们这也有介绍的 是的 我们其实支持 飞书丁丁 启威 QQ 很多通道 像我可以在这个里面 这就是我们实际的产品面板 可以给大家看一下 支持微信 QQ 启威 启威 元宝 包括华为的小益 也小易都可以 对包括这个MQTT也可以看 刚刚我举例一个用户有多个专家 他们每个人其实都可以配那么多的通道 每个专家可以配多通道 对是的 那还是很全面的 是的欢迎大家使用 有用户在问我们官网地址是什么 我们官网地址是好给大家放大一下 请搜Github 在我们Tencent Cloud项目下的OCTO 对也欢迎大家记得支持我们的产品 GateStar 对那我现在回答现在一下这个用户 QQ是不是只是单鸟 如果是群鸟是不是还得用QQBot 那么非常感谢这位用户的提问 这个QQ群鸟现在已经支持了 但是我们未来会继续拓展我们的QQ群鸟 包括我们的QQ的一个多Agent 会接入到我们的包括QQ频道 我们也可以用家庭群 我们也会接入我们的Agent 每个家庭用户都
本次執行流程與問題處理
下達指令
預期流程
- 自動字幕優先，Whisper 作為備援
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：2432.5 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：74.9 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：1.0 秒
關係：依序執行
結果：完成
4. 句子密度平衡
工具：videonote_balance_sentence_units.py
處理：平衡句子長度與密度
產出：sentence_units.json（句子單元）
耗時：1.0 秒
關係：依序執行
結果：完成
5. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：0.1 秒
關係：依序執行
結果：完成
6. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：0.1 秒
關係：依序執行
結果：完成
7. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：0.2 秒
關係：依序執行
結果：完成
8. 逐字稿交叉檢查
工具：videonote_cross_check_transcript.py
處理：交叉檢查逐字稿與來源字幕
產出：transcript_crosscheck_report.json（交叉檢查）
耗時：0.2 秒
關係：依序執行
結果：完成
9. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：0.2 秒
關係：依序執行
結果：完成
10. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：214.0 秒
關係：依序執行
結果：完成
11. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：1.0 秒
關係：依序執行
結果：完成
12. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：0.2 秒
關係：依序執行
結果：完成
手動來源字幕
- 尚未產生
自動來源字幕
Whisper 字幕
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
- 校正前 transcript.whisper.json 純文字 JSON
- 校正後 transcript.json 純文字 JSON
目前待解決問題與初步改善方向
- 逐字稿全文快速校讀未完成
已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。；RAPID_REVIEW_STATUS=REVIEW_REQUIRED_INVALID_OUTPUT
- 逐字稿可先使用，但有待校正清單
segment=1473 asr_repetition_or_hallucination: 出現異常重複字元或 token
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。