你有没有想过,真正定义AI下一阶段走向的,未必是那些轰轰烈烈对外举办的大模型发布会。而是少数行业元老在创业社群内部的深度对话。很多足以改变后续行业走向的核心观点,最先都是诞生在,这类小规模交流现场,没有华丽的宣传包装。全部是几十年工程实践沉淀下来的硬核思考。前不久,谷歌的杰弗迪恩就在YC创业学校完成了一场信息密度极高的圆桌对话。
整场交流把当下AI行业的现实瓶颈
硬件底层逻辑
agent发展边界
还有普通创业者能够抓住的现实机遇
全部完整剖析出来
如果你正在接触AI相关项目
或是想要看懂未来三五年
行业真实的眼睛路线
接下来的内容值得仔细看完
觉得内容对你有启发
可以点赞支持
不错过更多硬核行业解读
主持人开场抛出的第一个问题就相当尖锐
直接回溯到一年之前的公开观点
去年5月份杰弗迪恩曾经在AISNOT的活动上提出一个判断
AI已经达到初级工程师的水准
时隔一整年
行业内外都在观望
当初的这番论断到底有没有应验
面对这个问题
杰弗迪恩没有选择夸大成果
也没有刻意淡化进展
他给出了一份非常务实的复盘
在Agent的体系配合长周期运行时的编程任务当中
大模型能力的迭代速度远远超出他此前的预估
放到初级工程师的评判标准之下
当初的判断大体上已经得到验证
但同时他也坦诚
自己严重低估了复杂任务处理能力的上涨幅度
实际提升速度比事前的预判要快得多
能力的提升并不单单局限在代码编写
这个单一赛道Agent这套运行范式
正在其他各式各样的业务场景当中
展现出实实在在的价值
顺着这个话题
主持人继续向前追问
把目光投向2027年
想要听听属于杰弗迪恩的新一轮大胆预判
他思索之后给出了答案
核心落在机器学习系统的自我自动化上面
简单来讲
就是让AI系统自主开展大批量的实验工作
把复杂的大问题拆解成若干个更小的子任务
搭建一套闭环的自动实验循环
完成子任务的处理之后
再把分散的结果重新整合汇总
以此完成自身能力的迭代升级
这套全自动问题拆解搭配自动实验的思路
并不单单局限于机器学习本身
只要某一个科学或者工程领域
能够建立起一套可以量化衡量的目标
就有机会依靠这套模式
拿到巨大的突破
讲到这里
主持人抛出一个很有历史氛围感的类比
2001年的时候
谷歌搜索还完全依靠硬盘完成数据读取
杰弗迪恩和长期搭档桑杰
通过餐金值演算完成一轮成本测算
得出一个结论
未来某一个时间节点
整套搜索索引
完全可以全部放进机器的内存之中
基于这个判断
两个人短短几天就迭代出全新版本的谷歌搜索
不再依赖硬盘读取数据
全部运行在内存当中
这也成为谷歌搜索体验实现跨越时提升的关键转折点
历史总是会出现相似的韵律
那么放到2026年
属于当下这个时代
整套系统全部搬进内存的标志性时刻又会是什么
现场6000名创业者
又应当盯住哪些信号去设计自己的产品
杰弗迪恩的回答把落脚点放在硬件层面
它坦言当下的情况和当年谷歌搜索的故事
并不能完全等同
但有一个趋势是确定的
高性能同时兼顾低能耗的推理硬件系统
会迎来大规模普及
整个行业已经形成共识
推理环节才是让agent大规模面
向普通用户落地的核心基石
而延迟又是决定用户体验好坏的关键指标
硬件走向专业化
是整套系统相比通用GPU TPU设备
实现更低功耗
更低延迟最重要的实现路径
我们所有人都已经习惯等待模型返回输出结果
但等待本身并不是良好的用户体验
速度才是一切的王道
主持人继续顺着这个方向推进
如果延迟可以直接降低50倍
整个行业会发生什么样的变化
紧接着又抛出另外一个值得深思的问题
时至今日
行业当中还有哪些被大家全盘接受
但实际上已经不再成立的固有AI假设
杰弗迪恩给出的回答
会刷新不少人的固有认知
绝大多数从业者
还没有真正接纳一件事
依托能力足够强的底层基座模型
Agent并不只能运行短短一两个小时
连续运转几天甚至几周
去完成复杂度极高的任务
这件事已经具备现实可行性
现在小部分从业者
已经看到苗头
可绝大多数人
并没有真正把这个可能性
内化到自己的产品设计逻辑当中
而这件事未来会释放出巨大的影响力
很多人会好奇到底什么样的业务场景
需要Agent连续运航数周的时间
杰弗迪恩举了一个很具象的案例
我们可以交给Agent一项完整的软件版本重构工作
把一整套软件完整迁移到另外一门编程语言
重构之后的版本可以实现安全性的提升
或是运行性能的优化
AI完全可以持续推进整套复杂工程
把这项工作落地完成
话题就此切换到TPU诞生的过往
杰弗迪恩在行业里面广为流传的习惯
就是餐巾纸数学
也就是在餐巾纸上快速完成数量级层面的粗略估算
时间回到2013年前后
谷歌语音识别的效果迎来实质性的飞跃
他做过一笔测算
如果每一位谷歌手机用户
每天仅仅使用三分钟的语音识别功能
谷歌整体的服务器集群规模就需要直接翻倍
对应的成本会膨胀到完全无法接受的地步
为了解决这个现实难题
团队决定自研专属芯片
这也就是TPU的起源
他回忆
那时候深度学习驱动的语音系统
对比旧有方案
算力开销高出一大截
但是错误率直接减半
短短几个月时间就拿到过去
20年语音识别领域积累下来的全部进步
初代TPU没有办法运行Chrome浏览器
也跑不了Word这类通用软件
但是在机器学习推理场景当中
拥有极强的针对性
最终落地的初代芯片
对比CPU和GPU
能效可以提升30到80倍
延迟下降20到30倍
打下了非常扎实的技术底子
后续TPU才一步步迭代成如今的模样
有意思的地方在于团队研发TPU的那个阶段
Transformer架构还没有问世
没有人能够预料到后续TPU会成为整个AI产业的基石硬件
也正是因为这样
当时团队的设计思路是打造一套通用线性怠数运算系统
而不是死死绑定某一套特定算法做极致专用化
机器学习算法永远处在持续演化的进程当中
硬件不能过度定制
但是又要保留足够的专用属性
以此拿到巨大的性能收益
比如做大规格乘法运算单元
配置高速内存
搭建高速互联通路
后续几代TPU更是优化多芯片协同工作的能力
让大量芯片可以联合处理同一个复杂任务
主持人接着提问
放到今天
创业者又该做怎样的餐巾纸数学
能不能依靠简单的数量级估算
挖掘出下一代如同TPO一般重量级的创新
杰弗蒂恩表示
这件事没有统一标准答案
但是底层思考逻辑是相通的
首先找准自己所在赛道真正的瓶颈
再去反问自己
是否存在一套和当下主流方案完全不一样的解法
能不能把核心指标抬升一个甚至两个数量级
不要被市面上已经成熟的实现方案束缚住思路
回归第一性原理去思考
如果从零开始解决这个问题
自己会选择什么样的路径
往往就能够挖掘出别人看不见的机会
随后主持人问到一个
只有内行才会深究的话题
多年以前杰弗迪恩写过一份流传极广的清单
名字叫做每个工程师都应该知道的延迟数字
里面记录缓存未命中的耗石
磁盘寻道耗石
杰弗迪恩列举出一系列至关重要的硬件数字
储存到加速器片上内存之间的带宽
通往乘法运算单元的带宽
完成一次乘法运算需要消耗的能量
芯片与芯片之间的互联带宽
在该带宽条件之下可以联动多少颗芯片
还有从500颗芯片扩展到1万颗芯片的规模过程当中
网络带宽会出现多大程度的衰减
这些底层数字会实实在在约束上层业务问题的解法
紧接着他抛出一个足以改变很多人AI系统设计思路的数据
完成一次计算消耗的能量大概在EP焦2级别
但是完成一次数据搬运
一次IO操作
消耗的能量是前者的1000倍
就算只是把数据从加速器的高带宽内存搬运到处理器内部
参与运算
能量开销同样会急剧拉高
搬数据的代价远远高于做计算这条物理层面的硬约数
塑造了机器学习领域大量的工程选择
如果不存在如此悬殊的能耗差距
我们就不需要对数据做批量处理
可现实条件摆在眼前
工程师只能把大量样本或者token攒成批次统一处理
以此贪薄数据搬运带来的巨大能耗惩罚
把1000倍的开销
稀释为1000除以批次规模
但如果我们追求极低延迟的推理表现
批量处理这套逻辑就会变成阻碍
底层硬件的能量约束
会自上而下影响整套AI系统的每一层设计
主持人继续追问
那我们有没有机会实现单条数据的处理模式
杰弗迪恩表示自己现阶段思考更多的是推理测的问题
推理业务天然对低延迟有着强烈诉求
训练环节对此的要求反而没有那么严苛
在他看来
推理硬件的专用化程度
如今远远还没有抵达上线
核心优化方向
一方面是尽可能压缩数据搬运的频次
另一方面去探索极低精度运算
不需要硬件去兼容五花八门的精度规格
把业务真正需要的精度
直接固化到硬件设计当中
聊完硬件层面的种种约束
对话把视角向上拉高
过去大家谈及AI进步
惯性思维就是模型规模更大
训练数据更多
参数体量上涨
训练时间拉长
但是最近几年
真正拉开差距的
不再只有模型本体
模型外围的整套配套体系
价值正在持续走高
不单单要看参数规模和训练数据集
检索工具
记忆模块
Agent
工具链
全部都是不可或缺的组成部分
杰弗迪恩认同这样的看法
模型只是整套解决方案当中的
其中一块拼图
我们真正的目标
是搭建一整套
可以解决复杂现实问题的完整系统
这就意味着模型要学会
调用各式各样的外部工具
检索外部相关信息
留存过往处理其他任务
沉淀下来的历史信息
并且把这些信息
带入当下的上下文当中
这里有一个很关键的区别
训练数据就像是一锅大杂烩
数万亿token混杂在一起
压缩近几千亿的模型参数内部
与之对比
模型在处理具体任务时拿到的上下文信息
逻辑会清晰很多
同时模型还要识别可用的工具
判断哪些工具适配当前步骤
如何把大任务拆解成一连串工具调用
甚至尝试多条不同的解题路径
再评估各个方案的实际效果
这就是复杂agent以及dooragent编排的核心能力
上下文工程这个方向很有意思的一点
使它的准入门槛相对更低
训练大模型需要海量算力
海量数据资源
普通团队很难触碰
但是做上下文工程
只需要调用Gemini这类模型的API接口
再搭配自己搭建的检索逻辑
工具调用流程
工作流编排
就可以动手实践
想要把上下文工程做到足够强
杰弗迪恩给出一套非常务实的实操思路
就是实实在在拿模型和工具链
去处理真实业务
在实操当中观察模型的出错点位
很多时候想要提升模型表现
并不需要去改动底层模型权重
而是提供质量更高的指引
编写更完善的技能描述
告诉模型面对某一类问题
应当如何调用工具
反复迭代之后
你就会慢慢摸清楚
模型还缺少哪些信息
由此进入自我迭代优化的正向循环
他分享了一段亲身经历
几周之前
他和桑杰一起做底层代码库的性能调优
团队内部有自研的微型基准测试库
可以统计各类操作的耗时
这套数据结构被谷歌内部几百万个进程调用
性能表现必须得到保障
在没有Agent的时代
完整流程是先测试现有性能
修改代码
重新跑基准测试
观察性能变化
还要执行更大范围的测试
检查缓存占用等一系列指标
后来他们专门编写对应的技能
教会Agent完整复刻整套工作流
执行基准测试
修改代码
重新叫验性能指标
《循环迭代优化》
这套方案在部分问题上拿到相当不错的效果
本质上就是把人类工程师的工作流程
转化成模型能够读懂执行的指令
几个月之前
他和桑杰共同发布过一份30页左右的公开文档
名字叫做Performance Heightened TS
记录大量性能优化的实操技巧
已经有不少开发者把这份文档做总结提炼之后
投入给不同的大模型
最终测试结果显示
模型分析代码性能问题的能力得到明显提升
而且这份资料对所有人完全公开
谈及agent
有一个所有人都会碰到的现实痛点
不少agent在前十几步执行都十分顺畅
等到推进到第三十步
四十步
甚至五十步之后
就会开始逻辑跑偏
杰弗迪恩坦言
这就是当下技术最大的约束条件
一部分原因是模型处理训练机之外的任务
一旦脱离熟悉的任务分布
效果就会下滑
偏离熟悉的边界越远
失效概率就越高
针对该问题
有两条可行的解决路径
第一种
编写对应的技能和提示之意
尽量让模型维持在自己熟悉
成功率更高的执行路径
第二种
采用多agent的架构
让多个独立agent
并行尝试不同解题思路
再交由另外一个模型或者agent
去评判各个路径的可行性
本质就是对全部可行解法
做搜索筛选
保留有希望的分支
丢弃无效跑偏的分支
依靠推理计算
去便利解决方案空间
以此提升常链路Agent的定性
在谷歌内部就搭建了一整套调度框架
以及海量技能库
Agent可以调用内部编码工具
执行代码审查
完成性能测试
读取日志文件
只要技能定义足够合理
Agent的实用价值就会被大幅释放
紧接着
对话落到在场每一位创业者都无比关心的命题
谷歌能够做到从处理器到上层产品
全链路协同设计
那对于两三个人组成的小型创业团队
还剩下哪些可以抓住的机会
杰弗迪恩讲到
谷歌以及通用大模型团队
都在竭尽全力打造通用性极强
几乎可以处理各类任务的基座模型
但恰恰是追求通用这个前提
导致它很难针对某一个垂直细分领域
做深度打磨
如果创业团队
可以针对特定行业打磨优质的产品交互界面
配套专属的技能体系
甚至是垂直微调的专用模型
完全有机会建立起明显的竞争优势
打造出体验流畅
准确率出色的垂直产品
不过他也做出提醒
通用模型的能力还在持续变强
覆盖的场景不断扩张
创业者必须做好判断
自己选择的赛道
是未来半年到12个月
就会被通用模型覆盖
还是两三年之内
通用模型都难以企及
以此判断赛道的抗风险能力
那创业者应当如何筛选
值得投入的方向
他给出的第一条建议朴素
但是分类
往往代表存在机会
如果已经可以完成一部分
只是效果不够完美
反而要提高警惕
这代表能力的种子已经存在
只需要补充训练数据
扩大模型规模
能力就会快速迭代
所以要优先寻找当下通用模型
成功率只有0%或者1%的问题
而不是20%左右的赛道
这类机会
一部分属于训练分布之外的全新任务
另一类场景
是产品可以拿到通用模型
接触不到的私有数据
比如处理用户个人信息的产品
通用模型本身无法获取用户私人资料
这就创造天然壁垒
还有一类机会
针对高难度问题
以可控成本训练垂直专用模型
换取极高精度
AlphaFold就是典型案例
面向蛋白质折叠的专用模型取得巨大成功
却并非通用大模型
材料科学
芯片设计领域也存在同类的落地可能性
怎样成长为AI原生的创始人
他提到
和虚拟agent的协作的时候
把需求描述的越清晰
最终产出效果就越好
需求定义足够明确
Agent就拥有清晰的边界
明白自身的目标
从很早的计算机发展阶段
工程师就被要求开发软件之前
梳理清楚产品规格
如今只是把执行工作交给Agent
明确规格这件事反而变得更加关键
人类工程师可以读懂语境
主动反问确认细节
Agent虽然部分场景可以追问
但整体还是高度依赖清晰完备的需求描述
现在代码迁移类的Coding Agent
效果出众
背后的原因也正在于此
把一套软件从一门语言迁移到另一门语言
原始代码本身就是完整的规格
原有测试用力可以直接复用
同时完成迁移
持续比对新旧版本行为差异
直到二者表现对齐
正是规格足够明确
才造就这类任务亮眼的表现
未来大规模调度数百个Agent
成为常态
大量代码由Agent生成
什么能力会变得最为稀缺
杰弗·迪恩给出的答案是品位
也就是判断哪些问题值得交给agent去解决
放到研究领域大部分的成败
从选择研究课题的那一刻就已经注定
手握全套工具
不如选对值得投入的问题
把普通问题打磨得再精致
也比不上攻克一个高价值的难题
但是品位本身没有标准化的考核指标
应当如何训练
一部分来源于大量项目经验
经手足够多不同类型的问题
慢慢积累对机会的判断力
还有一个实操办法
写下未来12个月之内
自己预判会迎来爆发的方向
后续只挑选其中一部分落地
12个月之后回头复盘
看看哪些预判成真
哪些被其他人实现
哪些完全没有发生
相当于给自己制造大量样本
反向训练自己的判断力
第三种方式就是做疯狂的思想实验
不要把行业默认的前提全部当成真理
他分享了一段和同事开展的思想实验
过去60年
芯片设计制造行业
都在拼命缩小晶体管尺寸
压低出错概率
默认目标就是同一款芯片
每一颗成品都应当完全一致
不能出现比特翻转
但是宏观层面
大规模分布式系统的逻辑恰恰相反
依靠不可靠的硬件组件
搭建高可靠系统
磁盘会损坏
但是数据不能丢失
于是做多副本
使用纠缠码
可是这套容错思路
并没有下放到晶体管这一层
如果设计一套芯片
晶体管每天会出现20次错误
而不是几百万年才出现一次故障
整套系统会走向何方
制造工艺或许会迎来全新可能性
信号传输采用多条冗余通路
保障至少一路信号可以送达
这套逻辑和人脑神经信号传递十分相似
大脑信号传输本身就不是绝对可靠
重要信息就依靠多条通路同时传递
它并不是说当下就要落地这套方案
但是这类思想实验意义重大
要定期重新审视所有人习以为常的预设
回顾他的职业生涯
TPU的诞生就是推翻固有假设之后接触的果实
在问题还没有成为主流的时候
思考小众场景的专用硬件
MapReduce也是同理
团队厌倦了手工编写大量并行
容错相关的重复代码
于是提出全新抽象框架
上层只需要编写业务逻辑
底层统一处理并行调度和容错
最后成为谷歌大规模计算的核心底座
而这一切的源头
同样来自思想实验
现在有Alpha Chip辅助芯片布局
有Alpha UVO完成方案生成评估留存
整套AI制造AI的体系
正在逐步成型
广义来讲
这本质就是科学方法的自动化
提出假设
搭建环境
执行实验
评估结果
循环往复推进迭代
如今越来越多领域
可以把这套闭环自动化
一次性执行海量实验
压缩循环延迟
就变得格外关键
前提是评估器本身要足够快速
他举了一个十年之前的案例
同事研究量子化学
解析分子属性
传统密度泛含理论模拟器
跑一次就要耗费一整夜
团队收集大量输入输出样本
训练神经网络近似模拟器
速度提升30万倍
精度却几乎没有损失
彻底改写科研模式
从前筛选1000万候选分子
要耗费6个月筹备算力
现在一顿午饭的时间
就可以完成筛选
大量行业还有机会打造高速仿真模型
一旦实现
整个实验迭代周期就会被彻底重构
它最看好的方向
就是模型依靠大量实验
实现地规式自我改进
持续提升每一份算力
可以产出的新发现
对话推进到后半段
谈及职业路上的挫折
2014年杰弗蒂恩
杰弗里辛顿
奥里奥尔维尼亚尔斯
联合发布知识蒸馏论文
用大模型充当老师
小模型充当学生
得到体积更小
成本更低
同时效果优异的模型
如今整个行业都在广泛使用
但是这篇论文当年被NIPS聚稿
评审的观点认为
这项工作很难带来重大突破
杰弗迪恩表示
并不责怪评审委员会
对方站在学术视角
评判是否属于理论层面的重大突破
而团队清楚这件事巨大的工程价值
目标是降低模型服务成本
扩大落地场景
他们把论文上传到ARXV预印本平台
行业从业者阅读之后
大量落地使用
Gemini当中的Flash系列模型
就有一部分来自大尺寸Pro模型的蒸馏
在同规格模型当中
基准测试表现十分靠前
这件事带来的启示就是
就算成果遭到拒绝
也不要停下脚步
如果把1999年
刚刚加入只有20人规模谷歌的年轻杰弗迪恩
直接传送到2026年
他会选择大厂前沿实验室
还是选择自主创业
他表示没有标准答案
最核心的判断表现
创业公司风险更高
必须拥有极强的热情
但也可以收获极高的回报
无论选择哪一条道路
都要反问自己
如果项目走到最好的结局
世界会不会切实变好
如果仅仅只是很酷
就不值得投入大量时间
谈及如何寻找优秀的合作者
不仅要寻找专业能力过硬
技能互补的伙伴
也要选择相处起来足够愉快的人
创业路上要共同面对大量棘手难题
彼此的相处体验格外重要
小团队的魅力就是每个人掌握其他人不具备的能力
组合在一起可以完成单人无法实现的成果
要把自己的工程或者科研生涯当成一条工具腰带
持续补充新的工具
你永远预料不到未来会碰到什么样的难题
掌握的工具越多
可以解决的问题边界就越宽广
主持人抛出最后一个问题
他希望新一代创作者把精力投入到哪些方向
杰弗迪恩讲到
值得探索的问题数不胜数
他个人十分看好全新硬件路线
高效推理硬件拥有巨大价值
机器学习算法本身也还有巨大革新空间
比如数据效率远远高于当下的系统
现在大模型18岁阶段接触的数据总量
比人类18岁接触的信息多出1000倍
但是人类在大量任务当中
依旧可以持平甚至优于大模型
我们能不能打造数据效率更高
可以从自身行动当中持续学习的系统
持续学习本身就是极具价值的课题
多agent交互同样充满想象空间
把视角在向外延伸
如何促成人类之间更良性的对话
搭建工具帮助人们理性交流
帮助志趣相投的人建立连接
同样是值得深耕的方向
整场对话听完
不难感受到杰弗迪恩看待行业的独特视角
他不会空谈AGI什么时候到来
而是立足于能耗
数据搬运
延迟这些底层物理约束
向上推导系统设计逻辑
推导创业机会
全行业疯狂内卷模型参数的时候
他提醒大家数据搬运的成本是计算的1000倍
推理硬件专用化是下一轮效率跃升的关键
所有人焦虑通用模型吞噬创业机会
他告诉大家去寻找成功率0%到1%的赛道
挖掘私有数据
垂直专用模型的机会
所有人埋头打磨提示词的时候
他点名未来最稀缺的资源是品位
是筛选问题的判断力
这些认知不是凭空想象
来自几十年系统工程沉淀
来自一次次参金值演算
来自一次次推翻固有认知的思想实验
以上就是整场访谈的核心精华
如果你觉得这些来自一线工程大佬的思考
对你有启发
欢迎点赞
也可以把这期内容分享给身边做AI开发创业的朋友
一起跳出网络上的流量炒作
看见行业更真实的底层逻辑
我们下期再见