逐字稿文字預覽
你有没有想过,真正定义AI下一阶段走向的,未必是那些轰轰烈烈对外举办的大模型发布会。而是少数行业元老在创业社群内部的深度对话。很多足以改变后续行业走向的核心观点,最先都是诞生在,这类小规模交流现场,没有华丽的宣传包装。全部是几十年工程实践沉淀下来的硬核思考。前不久,谷歌的杰弗迪恩就在YC创业学校完成了一场信息密度极高的圆桌对话。 整场交流把当下AI行业的现实瓶颈 硬件底层逻辑 agent发展边界 还有普通创业者能够抓住的现实机遇 全部完整剖析出来 如果你正在接触AI相关项目 或是想要看懂未来三五年 行业真实的眼睛路线 接下来的内容值得仔细看完 觉得内容对你有启发 可以点赞支持 不错过更多硬核行业解读 主持人开场抛出的第一个问题就相当尖锐 直接回溯到一年之前的公开观点 去年5月份杰弗迪恩曾经在AISNOT的活动上提出一个判断 AI已经达到初级工程师的水准 时隔一整年 行业内外都在观望 当初的这番论断到底有没有应验 面对这个问题 杰弗迪恩没有选择夸大成果 也没有刻意淡化进展 他给出了一份非常务实的复盘 在Agent的体系配合长周期运行时的编程任务当中 大模型能力的迭代速度远远超出他此前的预估 放到初级工程师的评判标准之下 当初的判断大体上已经得到验证 但同时他也坦诚 自己严重低估了复杂任务处理能力的上涨幅度 实际提升速度比事前的预判要快得多 能力的提升并不单单局限在代码编写 这个单一赛道Agent这套运行范式 正在其他各式各样的业务场景当中 展现出实实在在的价值 顺着这个话题 主持人继续向前追问 把目光投向2027年 想要听听属于杰弗迪恩的新一轮大胆预判 他思索之后给出了答案 核心落在机器学习系统的自我自动化上面 简单来讲 就是让AI系统自主开展大批量的实验工作 把复杂的大问题拆解成若干个更小的子任务 搭建一套闭环的自动实验循环 完成子任务的处理之后 再把分散的结果重新整合汇总 以此完成自身能力的迭代升级 这套全自动问题拆解搭配自动实验的思路 并不单单局限于机器学习本身 只要某一个科学或者工程领域 能够建立起一套可以量化衡量的目标 就有机会依靠这套模式 拿到巨大的突破 讲到这里 主持人抛出一个很有历史氛围感的类比 2001年的时候 谷歌搜索还完全依靠硬盘完成数据读取 杰弗迪恩和长期搭档桑杰 通过餐金值演算完成一轮成本测算 得出一个结论 未来某一个时间节点 整套搜索索引 完全可以全部放进机器的内存之中 基于这个判断 两个人短短几天就迭代出全新版本的谷歌搜索 不再依赖硬盘读取数据 全部运行在内存当中 这也成为谷歌搜索体验实现跨越时提升的关键转折点 历史总是会出现相似的韵律 那么放到2026年 属于当下这个时代 整套系统全部搬进内存的标志性时刻又会是什么 现场6000名创业者 又应当盯住哪些信号去设计自己的产品 杰弗迪恩的回答把落脚点放在硬件层面 它坦言当下的情况和当年谷歌搜索的故事 并不能完全等同 但有一个趋势是确定的 高性能同时兼顾低能耗的推理硬件系统 会迎来大规模普及 整个行业已经形成共识 推理环节才是让agent大规模面 向普通用户落地的核心基石 而延迟又是决定用户体验好坏的关键指标 硬件走向专业化 是整套系统相比通用GPU TPU设备 实现更低功耗 更低延迟最重要的实现路径 我们所有人都已经习惯等待模型返回输出结果 但等待本身并不是良好的用户体验 速度才是一切的王道 主持人继续顺着这个方向推进 如果延迟可以直接降低50倍 整个行业会发生什么样的变化 紧接着又抛出另外一个值得深思的问题 时至今日 行业当中还有哪些被大家全盘接受 但实际上已经不再成立的固有AI假设 杰弗迪恩给出的回答 会刷新不少人的固有认知 绝大多数从业者 还没有真正接纳一件事 依托能力足够强的底层基座模型 Agent并不只能运行短短一两个小时 连续运转几天甚至几周 去完成复杂度极高的任务 这件事已经具备现实可行性 现在小部分从业者 已经看到苗头 可绝大多数人 并没有真正把这个可能性 内化到自己的产品设计逻辑当中 而这件事未来会释放出巨大的影响力 很多人会好奇到底什么样的业务场景 需要Agent连续运航数周的时间 杰弗迪恩举了一个很具象的案例 我们可以交给Agent一项完整的软件版本重构工作 把一整套软件完整迁移到另外一门编程语言 重构之后的版本可以实现安全性的提升 或是运行性能的优化 AI完全可以持续推进整套复杂工程 把这项工作落地完成 话题就此切换到TPU诞生的过往 杰弗迪恩在行业里面广为流传的习惯 就是餐巾纸数学 也就是在餐巾纸上快速完成数量级层面的粗略估算 时间回到2013年前后 谷歌语音识别的效果迎来实质性的飞跃 他做过一笔测算 如果每一位谷歌手机用户 每天仅仅使用三分钟的语音识别功能 谷歌整体的服务器集群规模就需要直接翻倍 对应的成本会膨胀到完全无法接受的地步 为了解决这个现实难题 团队决定自研专属芯片 这也就是TPU的起源 他回忆 那时候深度学习驱动的语音系统 对比旧有方案 算力开销高出一大截 但是错误率直接减半 短短几个月时间就拿到过去 20年语音识别领域积累下来的全部进步 初代TPU没有办法运行Chrome浏览器 也跑不了Word这类通用软件 但是在机器学习推理场景当中 拥有极强的针对性 最终落地的初代芯片 对比CPU和GPU 能效可以提升30到80倍 延迟下降20到30倍 打下了非常扎实的技术底子 后续TPU才一步步迭代成如今的模样 有意思的地方在于团队研发TPU的那个阶段 Transformer架构还没有问世 没有人能够预料到后续TPU会成为整个AI产业的基石硬件 也正是因为这样 当时团队的设计思路是打造一套通用线性怠数运算系统 而不是死死绑定某一套特定算法做极致专用化 机器学习算法永远处在持续演化的进程当中 硬件不能过度定制 但是又要保留足够的专用属性 以此拿到巨大的性能收益 比如做大规格乘法运算单元 配置高速内存 搭建高速互联通路 后续几代TPU更是优化多芯片协同工作的能力 让大量芯片可以联合处理同一个复杂任务 主持人接着提问 放到今天 创业者又该做怎样的餐巾纸数学 能不能依靠简单的数量级估算 挖掘出下一代如同TPO一般重量级的创新 杰弗蒂恩表示 这件事没有统一标准答案 但是底层思考逻辑是相通的 首先找准自己所在赛道真正的瓶颈 再去反问自己 是否存在一套和当下主流方案完全不一样的解法 能不能把核心指标抬升一个甚至两个数量级 不要被市面上已经成熟的实现方案束缚住思路 回归第一性原理去思考 如果从零开始解决这个问题 自己会选择什么样的路径 往往就能够挖掘出别人看不见的机会 随后主持人问到一个 只有内行才会深究的话题 多年以前杰弗迪恩写过一份流传极广的清单 名字叫做每个工程师都应该知道的延迟数字 里面记录缓存未命中的耗石 磁盘寻道耗石 杰弗迪恩列举出一系列至关重要的硬件数字 储存到加速器片上内存之间的带宽 通往乘法运算单元的带宽 完成一次乘法运算需要消耗的能量 芯片与芯片之间的互联带宽 在该带宽条件之下可以联动多少颗芯片 还有从500颗芯片扩展到1万颗芯片的规模过程当中 网络带宽会出现多大程度的衰减 这些底层数字会实实在在约束上层业务问题的解法 紧接着他抛出一个足以改变很多人AI系统设计思路的数据 完成一次计算消耗的能量大概在EP焦2级别 但是完成一次数据搬运 一次IO操作 消耗的能量是前者的1000倍 就算只是把数据从加速器的高带宽内存搬运到处理器内部 参与运算 能量开销同样会急剧拉高 搬数据的代价远远高于做计算这条物理层面的硬约数 塑造了机器学习领域大量的工程选择 如果不存在如此悬殊的能耗差距 我们就不需要对数据做批量处理 可现实条件摆在眼前 工程师只能把大量样本或者token攒成批次统一处理 以此贪薄数据搬运带来的巨大能耗惩罚 把1000倍的开销 稀释为1000除以批次规模 但如果我们追求极低延迟的推理表现 批量处理这套逻辑就会变成阻碍 底层硬件的能量约束 会自上而下影响整套AI系统的每一层设计 主持人继续追问 那我们有没有机会实现单条数据的处理模式 杰弗迪恩表示自己现阶段思考更多的是推理测的问题 推理业务天然对低延迟有着强烈诉求 训练环节对此的要求反而没有那么严苛 在他看来 推理硬件的专用化程度 如今远远还没有抵达上线 核心优化方向 一方面是尽可能压缩数据搬运的频次 另一方面去探索极低精度运算 不需要硬件去兼容五花八门的精度规格 把业务真正需要的精度 直接固化到硬件设计当中 聊完硬件层面的种种约束 对话把视角向上拉高 过去大家谈及AI进步 惯性思维就是模型规模更大 训练数据更多 参数体量上涨 训练时间拉长 但是最近几年 真正拉开差距的 不再只有模型本体 模型外围的整套配套体系 价值正在持续走高 不单单要看参数规模和训练数据集 检索工具 记忆模块 Agent 工具链 全部都是不可或缺的组成部分 杰弗迪恩认同这样的看法 模型只是整套解决方案当中的 其中一块拼图 我们真正的目标 是搭建一整套 可以解决复杂现实问题的完整系统 这就意味着模型要学会 调用各式各样的外部工具 检索外部相关信息 留存过往处理其他任务 沉淀下来的历史信息 并且把这些信息 带入当下的上下文当中 这里有一个很关键的区别 训练数据就像是一锅大杂烩 数万亿token混杂在一起 压缩近几千亿的模型参数内部 与之对比 模型在处理具体任务时拿到的上下文信息 逻辑会清晰很多 同时模型还要识别可用的工具 判断哪些工具适配当前步骤 如何把大任务拆解成一连串工具调用 甚至尝试多条不同的解题路径 再评估各个方案的实际效果 这就是复杂agent以及dooragent编排的核心能力 上下文工程这个方向很有意思的一点 使它的准入门槛相对更低 训练大模型需要海量算力 海量数据资源 普通团队很难触碰 但是做上下文工程 只需要调用Gemini这类模型的API接口 再搭配自己搭建的检索逻辑 工具调用流程 工作流编排 就可以动手实践 想要把上下文工程做到足够强 杰弗迪恩给出一套非常务实的实操思路 就是实实在在拿模型和工具链 去处理真实业务 在实操当中观察模型的出错点位 很多时候想要提升模型表现 并不需要去改动底层模型权重 而是提供质量更高的指引 编写更完善的技能描述 告诉模型面对某一类问题 应当如何调用工具 反复迭代之后 你就会慢慢摸清楚 模型还缺少哪些信息 由此进入自我迭代优化的正向循环 他分享了一段亲身经历 几周之前 他和桑杰一起做底层代码库的性能调优 团队内部有自研的微型基准测试库 可以统计各类操作的耗时 这套数据结构被谷歌内部几百万个进程调用 性能表现必须得到保障 在没有Agent的时代 完整流程是先测试现有性能 修改代码 重新跑基准测试 观察性能变化 还要执行更大范围的测试 检查缓存占用等一系列指标 后来他们专门编写对应的技能 教会Agent完整复刻整套工作流 执行基准测试 修改代码 重新叫验性能指标 《循环迭代优化》 这套方案在部分问题上拿到相当不错的效果 本质上就是把人类工程师的工作流程 转化成模型能够读懂执行的指令 几个月之前 他和桑杰共同发布过一份30页左右的公开文档 名字叫做Performance Heightened TS 记录大量性能优化的实操技巧 已经有不少开发者把这份文档做总结提炼之后 投入给不同的大模型 最终测试结果显示 模型分析代码性能问题的能力得到明显提升 而且这份资料对所有人完全公开 谈及agent 有一个所有人都会碰到的现实痛点 不少agent在前十几步执行都十分顺畅 等到推进到第三十步 四十步 甚至五十步之后 就会开始逻辑跑偏 杰弗迪恩坦言 这就是当下技术最大的约束条件 一部分原因是模型处理训练机之外的任务 一旦脱离熟悉的任务分布 效果就会下滑 偏离熟悉的边界越远 失效概率就越高 针对该问题 有两条可行的解决路径 第一种 编写对应的技能和提示之意 尽量让模型维持在自己熟悉 成功率更高的执行路径 第二种 采用多agent的架构 让多个独立agent 并行尝试不同解题思路 再交由另外一个模型或者agent 去评判各个路径的可行性 本质就是对全部可行解法 做搜索筛选 保留有希望的分支 丢弃无效跑偏的分支 依靠推理计算 去便利解决方案空间 以此提升常链路Agent的定性 在谷歌内部就搭建了一整套调度框架 以及海量技能库 Agent可以调用内部编码工具 执行代码审查 完成性能测试 读取日志文件 只要技能定义足够合理 Agent的实用价值就会被大幅释放 紧接着 对话落到在场每一位创业者都无比关心的命题 谷歌能够做到从处理器到上层产品 全链路协同设计 那对于两三个人组成的小型创业团队 还剩下哪些可以抓住的机会 杰弗迪恩讲到 谷歌以及通用大模型团队 都在竭尽全力打造通用性极强 几乎可以处理各类任务的基座模型 但恰恰是追求通用这个前提 导致它很难针对某一个垂直细分领域 做深度打磨 如果创业团队 可以针对特定行业打磨优质的产品交互界面 配套专属的技能体系 甚至是垂直微调的专用模型 完全有机会建立起明显的竞争优势 打造出体验流畅 准确率出色的垂直产品 不过他也做出提醒 通用模型的能力还在持续变强 覆盖的场景不断扩张 创业者必须做好判断 自己选择的赛道 是未来半年到12个月 就会被通用模型覆盖 还是两三年之内 通用模型都难以企及 以此判断赛道的抗风险能力 那创业者应当如何筛选 值得投入的方向 他给出的第一条建议朴素 但是分类 往往代表存在机会 如果已经可以完成一部分 只是效果不够完美 反而要提高警惕 这代表能力的种子已经存在 只需要补充训练数据 扩大模型规模 能力就会快速迭代 所以要优先寻找当下通用模型 成功率只有0%或者1%的问题 而不是20%左右的赛道 这类机会 一部分属于训练分布之外的全新任务 另一类场景 是产品可以拿到通用模型 接触不到的私有数据 比如处理用户个人信息的产品 通用模型本身无法获取用户私人资料 这就创造天然壁垒 还有一类机会 针对高难度问题 以可控成本训练垂直专用模型 换取极高精度 AlphaFold就是典型案例 面向蛋白质折叠的专用模型取得巨大成功 却并非通用大模型 材料科学 芯片设计领域也存在同类的落地可能性 怎样成长为AI原生的创始人 他提到 和虚拟agent的协作的时候 把需求描述的越清晰 最终产出效果就越好 需求定义足够明确 Agent就拥有清晰的边界 明白自身的目标 从很早的计算机发展阶段 工程师就被要求开发软件之前 梳理清楚产品规格 如今只是把执行工作交给Agent 明确规格这件事反而变得更加关键 人
本次執行流程與問題處理
下達指令
預期流程
- 下載與語音辨識
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：68.2 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：51.8 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：0.9 秒
關係：依序執行
結果：完成
4. 句子密度平衡
工具：videonote_balance_sentence_units.py
處理：平衡句子長度與密度
產出：sentence_units.json（句子單元）
耗時：1.0 秒
關係：依序執行
結果：完成
5. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：1.0 秒
關係：依序執行
結果：完成
6. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：1.0 秒
關係：依序執行
結果：完成
7. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：0.1 秒
關係：依序執行
結果：完成
8. 逐字稿交叉檢查
工具：videonote_cross_check_transcript.py
處理：交叉檢查逐字稿與來源字幕
產出：transcript_crosscheck_report.json（交叉檢查）
耗時：0.1 秒
關係：依序執行
結果：完成
9. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：0.1 秒
關係：依序執行
結果：完成
10. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：156.3 秒
關係：依序執行
結果：完成
11. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：0.4 秒
關係：依序執行
結果：完成
12. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：0.5 秒
關係：依序執行
結果：完成
手動來源字幕
- 尚未產生
自動來源字幕
Whisper 字幕
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
- 校正前 transcript.whisper.json 純文字 JSON
- 校正後 transcript.json 純文字 JSON
目前待解決問題與初步改善方向
- 逐字稿全文快速校讀未完成
已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。；RAPID_REVIEW_STATUS=REVIEW_REQUIRED_INVALID_OUTPUT
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。