0:00.000–0:01.201
zh你有没有想过,
0:01.201–0:03.602
zh真正定义AI下一阶段走向的,
0:03.602–0:07.204
zh未必是那些轰轰烈烈对外举办的大模型发布会。
0:07.204–0:10.805
zh而是少数行业元老在创业社群内部的深度对话。
0:10.805–0:13.893
zh很多足以改变后续行业走向的核心观点,
0:13.893–0:15.265
zh最先都是诞生在,
0:15.265–0:16.980
zh这类小规模交流现场,
0:16.980–0:18.695
zh没有华丽的宣传包装。
0:18.695–0:22.125
zh全部是几十年工程实践沉淀下来的硬核思考。
0:22.125–0:22.812
zh前不久,
0:22.812–0:28.300
zh谷歌的杰弗迪恩就在YC创业学校完成了一场信息密度极高的圆桌对话。
0:28.300–0:31.420
zh整场交流把当下AI行业的现实瓶颈
0:31.420–0:32.840
zh硬件底层逻辑
0:32.840–0:34.280
zhagent发展边界
0:34.280–0:37.020
zh还有普通创业者能够抓住的现实机遇
0:37.020–0:38.840
zh全部完整剖析出来
0:38.840–0:41.200
zh如果你正在接触AI相关项目
0:41.200–0:43.340
zh或是想要看懂未来三五年
0:43.340–0:45.020
zh行业真实的眼睛路线
0:45.020–0:47.280
zh接下来的内容值得仔细看完
0:47.280–0:49.180
zh觉得内容对你有启发
0:49.180–0:50.320
zh可以点赞支持
0:50.320–0:52.240
zh不错过更多硬核行业解读
0:52.240–0:55.340
zh主持人开场抛出的第一个问题就相当尖锐
0:55.340–0:58.100
zh直接回溯到一年之前的公开观点
0:58.100–1:02.460
zh去年5月份杰弗迪恩曾经在AISNOT的活动上提出一个判断
1:02.460–1:04.940
zhAI已经达到初级工程师的水准
1:04.940–1:06.100
zh时隔一整年
1:06.100–1:07.580
zh行业内外都在观望
1:07.580–1:09.980
zh当初的这番论断到底有没有应验
1:09.980–1:11.160
zh面对这个问题
1:11.160–1:13.400
zh杰弗迪恩没有选择夸大成果
1:13.400–1:15.100
zh也没有刻意淡化进展
1:15.100–1:17.300
zh他给出了一份非常务实的复盘
1:17.300–1:21.400
zh在Agent的体系配合长周期运行时的编程任务当中
1:21.400–1:25.240
zh大模型能力的迭代速度远远超出他此前的预估
1:25.240–1:27.740
zh放到初级工程师的评判标准之下
1:27.740–1:30.360
zh当初的判断大体上已经得到验证
1:30.360–1:31.780
zh但同时他也坦诚
1:31.780–1:35.360
zh自己严重低估了复杂任务处理能力的上涨幅度
1:35.360–1:38.520
zh实际提升速度比事前的预判要快得多
1:38.520–1:41.580
zh能力的提升并不单单局限在代码编写
1:41.580–1:44.200
zh这个单一赛道Agent这套运行范式
1:44.200–1:46.980
zh正在其他各式各样的业务场景当中
1:46.980–1:49.060
zh展现出实实在在的价值
1:49.060–1:50.300
zh顺着这个话题
1:50.300–1:51.860
zh主持人继续向前追问
1:51.860–1:53.780
zh把目光投向2027年
1:53.780–1:56.780
zh想要听听属于杰弗迪恩的新一轮大胆预判
1:56.780–1:58.580
zh他思索之后给出了答案
1:58.580–2:01.740
zh核心落在机器学习系统的自我自动化上面
2:01.740–2:02.680
zh简单来讲
2:02.680–2:06.120
zh就是让AI系统自主开展大批量的实验工作
2:06.120–2:09.920
zh把复杂的大问题拆解成若干个更小的子任务
2:09.920–2:12.140
zh搭建一套闭环的自动实验循环
2:12.140–2:14.080
zh完成子任务的处理之后
2:14.080–2:16.520
zh再把分散的结果重新整合汇总
2:16.520–2:18.960
zh以此完成自身能力的迭代升级
2:18.960–2:22.200
zh这套全自动问题拆解搭配自动实验的思路
2:22.200–2:24.680
zh并不单单局限于机器学习本身
2:24.680–2:27.220
zh只要某一个科学或者工程领域
2:27.220–2:30.120
zh能够建立起一套可以量化衡量的目标
2:30.120–2:32.040
zh就有机会依靠这套模式
2:32.040–2:33.380
zh拿到巨大的突破
2:33.380–2:34.280
zh讲到这里
2:34.280–2:37.100
zh主持人抛出一个很有历史氛围感的类比
2:37.100–2:38.640
zh2001年的时候
2:38.640–2:42.040
zh谷歌搜索还完全依靠硬盘完成数据读取
2:42.040–2:44.100
zh杰弗迪恩和长期搭档桑杰
2:44.100–2:46.980
zh通过餐金值演算完成一轮成本测算
2:46.980–2:48.080
zh得出一个结论
2:48.080–2:49.800
zh未来某一个时间节点
2:49.800–2:51.160
zh整套搜索索引
2:51.160–2:53.780
zh完全可以全部放进机器的内存之中
2:53.780–2:54.820
zh基于这个判断
2:54.820–2:58.720
zh两个人短短几天就迭代出全新版本的谷歌搜索
2:58.720–3:00.780
zh不再依赖硬盘读取数据
3:00.780–3:02.560
zh全部运行在内存当中
3:02.560–3:06.780
zh这也成为谷歌搜索体验实现跨越时提升的关键转折点
3:06.780–3:09.060
zh历史总是会出现相似的韵律
3:09.060–3:10.760
zh那么放到2026年
3:10.760–3:12.260
zh属于当下这个时代
3:12.260–3:15.500
zh整套系统全部搬进内存的标志性时刻又会是什么
3:15.500–3:17.340
zh现场6000名创业者
3:17.340–3:20.380
zh又应当盯住哪些信号去设计自己的产品
3:20.380–3:23.460
zh杰弗迪恩的回答把落脚点放在硬件层面
3:23.460–3:26.980
zh它坦言当下的情况和当年谷歌搜索的故事
3:26.980–3:28.320
zh并不能完全等同
3:28.320–3:30.240
zh但有一个趋势是确定的
3:30.240–3:33.220
zh高性能同时兼顾低能耗的推理硬件系统
3:33.220–3:34.860
zh会迎来大规模普及
3:34.860–3:36.820
zh整个行业已经形成共识
3:36.820–3:39.340
zh推理环节才是让agent大规模面
3:39.340–3:41.720
zh向普通用户落地的核心基石
3:41.720–3:45.100
zh而延迟又是决定用户体验好坏的关键指标
3:45.100–3:46.700
zh硬件走向专业化
3:46.700–3:49.340
zh是整套系统相比通用GPU TPU设备
3:49.340–3:51.240
zh实现更低功耗
3:51.240–3:53.460
zh更低延迟最重要的实现路径
3:53.460–3:57.000
zh我们所有人都已经习惯等待模型返回输出结果
3:57.000–3:59.800
zh但等待本身并不是良好的用户体验
3:59.800–4:01.360
zh速度才是一切的王道
4:01.360–4:03.700
zh主持人继续顺着这个方向推进
4:03.700–4:06.120
zh如果延迟可以直接降低50倍
4:06.120–4:08.700
zh整个行业会发生什么样的变化
4:08.700–4:11.240
zh紧接着又抛出另外一个值得深思的问题
4:11.240–4:12.220
zh时至今日
4:12.220–4:15.100
zh行业当中还有哪些被大家全盘接受
4:15.100–4:18.320
zh但实际上已经不再成立的固有AI假设
4:18.320–4:19.920
zh杰弗迪恩给出的回答
4:19.920–4:21.660
zh会刷新不少人的固有认知
4:21.660–4:23.200
zh绝大多数从业者
4:23.200–4:24.800
zh还没有真正接纳一件事
4:24.800–4:27.460
zh依托能力足够强的底层基座模型
4:27.460–4:30.340
zhAgent并不只能运行短短一两个小时
4:30.340–4:32.500
zh连续运转几天甚至几周
4:32.500–4:34.760
zh去完成复杂度极高的任务
4:34.760–4:37.160
zh这件事已经具备现实可行性
4:37.160–4:38.800
zh现在小部分从业者
4:38.800–4:40.040
zh已经看到苗头
4:40.040–4:41.300
zh可绝大多数人
4:41.300–4:43.180
zh并没有真正把这个可能性
4:43.180–4:45.980
zh内化到自己的产品设计逻辑当中
4:45.980–4:48.720
zh而这件事未来会释放出巨大的影响力
4:48.720–4:51.560
zh很多人会好奇到底什么样的业务场景
4:51.560–4:54.180
zh需要Agent连续运航数周的时间
4:54.180–4:56.540
zh杰弗迪恩举了一个很具象的案例
4:56.540–5:00.680
zh我们可以交给Agent一项完整的软件版本重构工作
5:00.680–5:04.680
zh把一整套软件完整迁移到另外一门编程语言
5:04.680–5:07.680
zh重构之后的版本可以实现安全性的提升
5:07.680–5:09.400
zh或是运行性能的优化
5:09.400–5:12.560
zhAI完全可以持续推进整套复杂工程
5:12.560–5:14.400
zh把这项工作落地完成
5:14.400–5:17.360
zh话题就此切换到TPU诞生的过往
5:17.360–5:20.220
zh杰弗迪恩在行业里面广为流传的习惯
5:20.220–5:21.840
zh就是餐巾纸数学
5:21.840–5:25.780
zh也就是在餐巾纸上快速完成数量级层面的粗略估算
5:25.780–5:27.920
zh时间回到2013年前后
5:27.920–5:30.540
zh谷歌语音识别的效果迎来实质性的飞跃
5:30.540–5:31.940
zh他做过一笔测算
5:31.940–5:34.000
zh如果每一位谷歌手机用户
5:34.000–5:36.900
zh每天仅仅使用三分钟的语音识别功能
5:36.900–5:40.160
zh谷歌整体的服务器集群规模就需要直接翻倍
5:40.160–5:43.360
zh对应的成本会膨胀到完全无法接受的地步
5:43.360–5:45.180
zh为了解决这个现实难题
5:45.180–5:47.180
zh团队决定自研专属芯片
5:47.180–5:49.020
zh这也就是TPU的起源
5:49.020–5:49.880
zh他回忆
5:49.880–5:52.440
zh那时候深度学习驱动的语音系统
5:52.440–5:53.800
zh对比旧有方案
5:53.800–5:55.840
zh算力开销高出一大截
5:55.840–5:57.960
zh但是错误率直接减半
5:57.960–6:00.120
zh短短几个月时间就拿到过去
6:00.120–6:02.960
zh20年语音识别领域积累下来的全部进步
6:02.960–6:05.780
zh初代TPU没有办法运行Chrome浏览器
6:05.780–6:07.840
zh也跑不了Word这类通用软件
6:07.840–6:10.020
zh但是在机器学习推理场景当中
6:10.020–6:11.300
zh拥有极强的针对性
6:11.300–6:13.260
zh最终落地的初代芯片
6:13.260–6:15.080
zh对比CPU和GPU
6:15.080–6:17.520
zh能效可以提升30到80倍
6:17.520–6:19.600
zh延迟下降20到30倍
6:19.600–6:21.880
zh打下了非常扎实的技术底子
6:21.880–6:24.820
zh后续TPU才一步步迭代成如今的模样
6:24.820–6:28.200
zh有意思的地方在于团队研发TPU的那个阶段
6:28.200–6:30.160
zhTransformer架构还没有问世
6:30.160–6:34.720
zh没有人能够预料到后续TPU会成为整个AI产业的基石硬件
6:34.720–6:36.040
zh也正是因为这样
6:36.040–6:40.560
zh当时团队的设计思路是打造一套通用线性怠数运算系统
6:40.560–6:44.320
zh而不是死死绑定某一套特定算法做极致专用化
6:44.320–6:47.620
zh机器学习算法永远处在持续演化的进程当中
6:47.620–6:49.220
zh硬件不能过度定制
6:49.220–6:51.480
zh但是又要保留足够的专用属性
6:51.480–6:53.300
zh以此拿到巨大的性能收益
6:53.300–6:55.400
zh比如做大规格乘法运算单元
6:55.400–6:56.700
zh配置高速内存
6:56.700–6:58.180
zh搭建高速互联通路
6:58.180–7:01.980
zh后续几代TPU更是优化多芯片协同工作的能力
7:01.980–7:05.380
zh让大量芯片可以联合处理同一个复杂任务
7:05.380–7:06.480
zh主持人接着提问
7:06.480–7:07.480
zh放到今天
7:07.480–7:10.160
zh创业者又该做怎样的餐巾纸数学
7:10.160–7:12.720
zh能不能依靠简单的数量级估算
7:12.720–7:16.240
zh挖掘出下一代如同TPO一般重量级的创新
7:16.240–7:17.420
zh杰弗蒂恩表示
7:17.420–7:19.480
zh这件事没有统一标准答案
7:19.480–7:21.880
zh但是底层思考逻辑是相通的
7:21.880–7:24.800
zh首先找准自己所在赛道真正的瓶颈
7:24.800–7:26.120
zh再去反问自己
7:26.120–7:29.920
zh是否存在一套和当下主流方案完全不一样的解法
7:29.920–7:33.440
zh能不能把核心指标抬升一个甚至两个数量级
7:33.440–7:36.980
zh不要被市面上已经成熟的实现方案束缚住思路
7:36.980–7:38.940
zh回归第一性原理去思考
7:38.940–7:41.040
zh如果从零开始解决这个问题
7:41.040–7:42.860
zh自己会选择什么样的路径
7:42.860–7:45.460
zh往往就能够挖掘出别人看不见的机会
7:45.460–7:47.060
zh随后主持人问到一个
7:47.060–7:49.140
zh只有内行才会深究的话题
7:49.140–7:52.600
zh多年以前杰弗迪恩写过一份流传极广的清单
7:52.600–7:56.160
zh名字叫做每个工程师都应该知道的延迟数字
7:56.160–7:58.560
zh里面记录缓存未命中的耗石
7:58.560–8:00.000
zh磁盘寻道耗石
8:14.280–8:17.660
zh杰弗迪恩列举出一系列至关重要的硬件数字
8:17.660–8:20.600
zh储存到加速器片上内存之间的带宽
8:20.600–8:22.880
zh通往乘法运算单元的带宽
8:22.880–8:25.700
zh完成一次乘法运算需要消耗的能量
8:25.700–8:27.980
zh芯片与芯片之间的互联带宽
8:27.980–8:31.220
zh在该带宽条件之下可以联动多少颗芯片
8:31.220–8:35.240
zh还有从500颗芯片扩展到1万颗芯片的规模过程当中
8:35.240–8:37.980
zh网络带宽会出现多大程度的衰减
8:37.980–8:42.360
zh这些底层数字会实实在在约束上层业务问题的解法
8:42.360–8:46.440
zh紧接着他抛出一个足以改变很多人AI系统设计思路的数据
8:46.440–8:49.940
zh完成一次计算消耗的能量大概在EP焦2级别
8:49.940–8:51.800
zh但是完成一次数据搬运
8:51.800–8:52.980
zh一次IO操作
8:52.980–8:55.300
zh消耗的能量是前者的1000倍
8:55.300–8:59.780
zh就算只是把数据从加速器的高带宽内存搬运到处理器内部
8:59.780–9:00.860
zh参与运算
9:00.860–9:03.160
zh能量开销同样会急剧拉高
9:03.160–9:07.600
zh搬数据的代价远远高于做计算这条物理层面的硬约数
9:07.600–9:10.540
zh塑造了机器学习领域大量的工程选择
9:10.540–9:13.160
zh如果不存在如此悬殊的能耗差距
9:13.160–9:15.600
zh我们就不需要对数据做批量处理
9:15.600–9:17.480
zh可现实条件摆在眼前
9:17.480–9:21.620
zh工程师只能把大量样本或者token攒成批次统一处理
9:21.620–9:24.680
zh以此贪薄数据搬运带来的巨大能耗惩罚
9:24.680–9:26.160
zh把1000倍的开销
9:26.160–9:28.380
zh稀释为1000除以批次规模
9:28.380–9:31.380
zh但如果我们追求极低延迟的推理表现
9:31.380–9:34.100
zh批量处理这套逻辑就会变成阻碍
9:34.100–9:35.880
zh底层硬件的能量约束
9:35.880–9:39.180
zh会自上而下影响整套AI系统的每一层设计
9:39.180–9:40.460
zh主持人继续追问
9:40.460–9:43.960
zh那我们有没有机会实现单条数据的处理模式
9:43.960–9:47.540
zh杰弗迪恩表示自己现阶段思考更多的是推理测的问题
9:47.540–9:50.760
zh推理业务天然对低延迟有着强烈诉求
9:50.760–9:53.700
zh训练环节对此的要求反而没有那么严苛
9:53.700–9:54.800
zh在他看来
9:54.800–9:56.600
zh推理硬件的专用化程度
9:56.600–9:58.580
zh如今远远还没有抵达上线
9:58.580–9:59.920
zh核心优化方向
9:59.920–10:02.760
zh一方面是尽可能压缩数据搬运的频次
10:02.760–10:05.220
zh另一方面去探索极低精度运算
10:05.220–10:08.400
zh不需要硬件去兼容五花八门的精度规格
10:08.400–10:10.360
zh把业务真正需要的精度
10:10.360–10:12.440
zh直接固化到硬件设计当中
10:12.440–10:14.520
zh聊完硬件层面的种种约束
10:14.520–10:16.420
zh对话把视角向上拉高
10:16.420–10:18.460
zh过去大家谈及AI进步
10:18.460–10:20.760
zh惯性思维就是模型规模更大
10:20.760–10:22.240
zh训练数据更多
10:22.240–10:23.520
zh参数体量上涨
10:23.520–10:24.800
zh训练时间拉长
10:24.800–10:25.960
zh但是最近几年
10:25.960–10:27.400
zh真正拉开差距的
10:27.400–10:28.820
zh不再只有模型本体
10:28.820–10:31.100
zh模型外围的整套配套体系
10:31.100–10:32.800
zh价值正在持续走高
10:32.800–10:35.560
zh不单单要看参数规模和训练数据集
10:35.560–10:36.480
zh检索工具
10:36.480–10:37.400
zh记忆模块
10:37.400–10:38.040
enAgent
10:38.040–10:38.760
zh工具链
10:38.760–10:41.040
zh全部都是不可或缺的组成部分
10:41.040–10:42.880
zh杰弗迪恩认同这样的看法
10:42.880–10:45.320
zh模型只是整套解决方案当中的
10:45.320–10:46.320
zh其中一块拼图
10:46.320–10:47.540
zh我们真正的目标
10:47.540–10:49.140
zh是搭建一整套
10:49.140–10:52.020
zh可以解决复杂现实问题的完整系统
10:52.020–10:53.900
zh这就意味着模型要学会
10:53.900–10:55.560
zh调用各式各样的外部工具
10:55.560–10:57.540
zh检索外部相关信息
10:57.540–10:59.100
zh留存过往处理其他任务
10:59.100–11:00.480
zh沉淀下来的历史信息
11:00.480–11:01.900
zh并且把这些信息
11:01.900–11:03.780
zh带入当下的上下文当中
11:03.780–11:05.660
zh这里有一个很关键的区别
11:05.660–11:08.080
zh训练数据就像是一锅大杂烩
11:08.080–11:10.360
zh数万亿token混杂在一起
11:10.360–11:13.280
zh压缩近几千亿的模型参数内部
11:13.280–11:13.920
zh与之对比
11:13.920–11:17.060
zh模型在处理具体任务时拿到的上下文信息
11:17.060–11:18.440
zh逻辑会清晰很多
11:18.440–11:20.900
zh同时模型还要识别可用的工具
11:20.900–11:23.320
zh判断哪些工具适配当前步骤
11:23.320–11:26.280
zh如何把大任务拆解成一连串工具调用
11:26.280–11:28.920
zh甚至尝试多条不同的解题路径
11:28.920–11:30.980
zh再评估各个方案的实际效果
11:30.980–11:34.920
zh这就是复杂agent以及dooragent编排的核心能力
11:34.920–11:37.440
zh上下文工程这个方向很有意思的一点
11:37.440–11:39.720
zh使它的准入门槛相对更低
11:39.720–11:41.840
zh训练大模型需要海量算力
11:41.840–11:43.340
zh海量数据资源
11:43.340–11:44.900
zh普通团队很难触碰
11:44.900–11:46.460
zh但是做上下文工程
11:46.460–11:49.340
zh只需要调用Gemini这类模型的API接口
11:49.340–11:51.680
zh再搭配自己搭建的检索逻辑
11:51.680–11:53.040
zh工具调用流程
11:53.040–11:54.160
zh工作流编排
11:54.160–11:55.540
zh就可以动手实践
11:55.540–11:57.960
zh想要把上下文工程做到足够强
11:57.960–12:01.060
zh杰弗迪恩给出一套非常务实的实操思路
12:01.060–12:03.360
zh就是实实在在拿模型和工具链
12:03.360–12:04.580
zh去处理真实业务
12:04.580–12:07.320
zh在实操当中观察模型的出错点位
12:07.320–12:09.660
zh很多时候想要提升模型表现
12:09.660–12:12.180
zh并不需要去改动底层模型权重
12:12.180–12:14.360
zh而是提供质量更高的指引
12:14.360–12:16.400
zh编写更完善的技能描述
12:16.400–12:18.440
zh告诉模型面对某一类问题
12:18.440–12:19.940
zh应当如何调用工具
12:19.940–12:21.280
zh反复迭代之后
12:21.280–12:22.780
zh你就会慢慢摸清楚
12:22.780–12:24.480
zh模型还缺少哪些信息
12:24.480–12:27.400
zh由此进入自我迭代优化的正向循环
12:27.400–12:29.400
zh他分享了一段亲身经历
12:29.400–12:30.300
zh几周之前
12:30.300–12:33.240
zh他和桑杰一起做底层代码库的性能调优
12:33.240–12:36.560
zh团队内部有自研的微型基准测试库
12:36.560–12:38.640
zh可以统计各类操作的耗时
12:38.640–12:42.280
zh这套数据结构被谷歌内部几百万个进程调用
12:42.280–12:44.380
zh性能表现必须得到保障
12:44.380–12:46.020
zh在没有Agent的时代
12:46.020–12:48.500
zh完整流程是先测试现有性能
12:48.500–12:49.480
zh修改代码
12:49.480–12:51.120
zh重新跑基准测试
12:51.120–12:52.600
zh观察性能变化
12:52.600–12:54.560
zh还要执行更大范围的测试
12:54.560–12:56.800
zh检查缓存占用等一系列指标
12:56.800–12:59.060
zh后来他们专门编写对应的技能
12:59.060–13:01.860
zh教会Agent完整复刻整套工作流
13:01.860–13:03.260
zh执行基准测试
13:03.260–13:04.460
zh修改代码
13:04.460–13:05.900
zh重新叫验性能指标
13:05.900–13:07.480
zh《循环迭代优化》
13:07.480–13:10.500
zh这套方案在部分问题上拿到相当不错的效果
13:10.500–13:13.320
zh本质上就是把人类工程师的工作流程
13:13.320–13:16.080
zh转化成模型能够读懂执行的指令
13:16.080–13:17.100
zh几个月之前
13:17.100–13:20.440
zh他和桑杰共同发布过一份30页左右的公开文档
13:20.440–13:22.980
zh名字叫做Performance Heightened TS
13:22.980–13:25.480
zh记录大量性能优化的实操技巧
13:25.480–13:29.060
zh已经有不少开发者把这份文档做总结提炼之后
13:29.060–13:30.520
zh投入给不同的大模型
13:30.520–13:32.480
zh最终测试结果显示
13:32.480–13:35.760
zh模型分析代码性能问题的能力得到明显提升
13:35.760–13:38.640
zh而且这份资料对所有人完全公开
13:38.640–13:39.780
zh谈及agent
13:39.780–13:42.240
zh有一个所有人都会碰到的现实痛点
13:42.240–13:45.940
zh不少agent在前十几步执行都十分顺畅
13:45.940–13:47.400
zh等到推进到第三十步
13:47.400–13:48.120
zh四十步
13:48.120–13:49.360
zh甚至五十步之后
13:49.360–13:51.040
zh就会开始逻辑跑偏
13:51.040–13:52.420
zh杰弗迪恩坦言
13:52.420–13:54.980
zh这就是当下技术最大的约束条件
13:54.980–13:58.360
zh一部分原因是模型处理训练机之外的任务
13:58.360–14:00.120
zh一旦脱离熟悉的任务分布
14:00.120–14:01.420
zh效果就会下滑
14:01.420–14:03.620
zh偏离熟悉的边界越远
14:03.620–14:04.760
zh失效概率就越高
14:04.760–14:05.780
zh针对该问题
14:05.780–14:07.880
zh有两条可行的解决路径
14:07.880–14:08.560
zh第一种
14:08.560–14:10.920
zh编写对应的技能和提示之意
14:10.920–14:13.240
zh尽量让模型维持在自己熟悉
14:13.240–14:15.060
zh成功率更高的执行路径
14:15.060–14:15.840
zh第二种
14:15.840–14:17.400
zh采用多agent的架构
14:17.400–14:18.880
zh让多个独立agent
14:18.880–14:20.780
zh并行尝试不同解题思路
14:20.780–14:23.100
zh再交由另外一个模型或者agent
14:23.100–14:24.920
zh去评判各个路径的可行性
14:24.920–14:27.120
zh本质就是对全部可行解法
14:27.120–14:28.080
zh做搜索筛选
14:28.080–14:29.640
zh保留有希望的分支
14:29.640–14:31.540
zh丢弃无效跑偏的分支
14:31.540–14:32.780
zh依靠推理计算
14:32.780–14:34.460
zh去便利解决方案空间
14:34.460–14:36.880
zh以此提升常链路Agent的定性
14:36.880–14:40.000
zh在谷歌内部就搭建了一整套调度框架
14:40.000–14:41.220
zh以及海量技能库
14:41.220–14:43.340
zhAgent可以调用内部编码工具
14:43.340–14:44.660
zh执行代码审查
14:44.660–14:45.980
zh完成性能测试
14:45.980–14:47.300
zh读取日志文件
14:47.300–14:49.040
zh只要技能定义足够合理
14:49.040–14:51.680
zhAgent的实用价值就会被大幅释放
14:51.680–14:52.480
zh紧接着
14:52.480–14:55.900
zh对话落到在场每一位创业者都无比关心的命题
14:55.900–14:58.960
zh谷歌能够做到从处理器到上层产品
14:58.960–15:00.480
zh全链路协同设计
15:00.480–15:03.340
zh那对于两三个人组成的小型创业团队
15:03.340–15:05.600
zh还剩下哪些可以抓住的机会
15:05.600–15:06.980
zh杰弗迪恩讲到
15:06.980–15:09.320
zh谷歌以及通用大模型团队
15:09.320–15:11.880
zh都在竭尽全力打造通用性极强
15:11.880–15:14.480
zh几乎可以处理各类任务的基座模型
15:14.480–15:17.020
zh但恰恰是追求通用这个前提
15:17.020–15:19.980
zh导致它很难针对某一个垂直细分领域
15:19.980–15:21.060
zh做深度打磨
15:21.060–15:22.280
zh如果创业团队
15:22.280–15:25.640
zh可以针对特定行业打磨优质的产品交互界面
15:25.640–15:27.460
zh配套专属的技能体系
15:27.460–15:29.820
zh甚至是垂直微调的专用模型
15:29.820–15:32.600
zh完全有机会建立起明显的竞争优势
15:32.600–15:34.120
zh打造出体验流畅
15:34.120–15:36.060
zh准确率出色的垂直产品
15:36.060–15:37.800
zh不过他也做出提醒
15:37.800–15:40.400
zh通用模型的能力还在持续变强
15:40.400–15:42.340
zh覆盖的场景不断扩张
15:42.340–15:44.200
zh创业者必须做好判断
15:44.200–15:45.520
zh自己选择的赛道
15:45.520–15:47.360
zh是未来半年到12个月
15:47.360–15:48.880
zh就会被通用模型覆盖
15:48.880–15:50.220
zh还是两三年之内
15:50.220–15:51.820
zh通用模型都难以企及
15:51.820–15:54.220
zh以此判断赛道的抗风险能力
15:54.220–15:56.240
zh那创业者应当如何筛选
15:56.240–15:57.620
zh值得投入的方向
15:57.620–15:59.400
zh他给出的第一条建议朴素
15:59.400–16:00.000
zh但是分类
16:15.000–16:16.640
zh往往代表存在机会
16:16.640–16:18.460
zh如果已经可以完成一部分
16:18.460–16:20.040
zh只是效果不够完美
16:20.040–16:21.380
zh反而要提高警惕
16:21.380–16:23.760
zh这代表能力的种子已经存在
16:23.760–16:25.560
zh只需要补充训练数据
16:25.560–16:26.980
zh扩大模型规模
16:26.980–16:28.640
zh能力就会快速迭代
16:28.640–16:31.160
zh所以要优先寻找当下通用模型
16:31.160–16:33.980
zh成功率只有0%或者1%的问题
16:33.980–16:36.220
zh而不是20%左右的赛道
16:36.220–16:37.280
zh这类机会
16:37.280–16:40.300
zh一部分属于训练分布之外的全新任务
16:40.300–16:41.300
zh另一类场景
16:41.300–16:43.300
zh是产品可以拿到通用模型
16:43.300–16:44.900
zh接触不到的私有数据
16:45.000–16:47.100
zh比如处理用户个人信息的产品
16:47.100–16:50.160
zh通用模型本身无法获取用户私人资料
16:50.160–16:51.720
zh这就创造天然壁垒
16:51.720–16:52.960
zh还有一类机会
16:52.960–16:54.320
zh针对高难度问题
16:54.320–16:57.020
zh以可控成本训练垂直专用模型
16:57.020–16:58.520
zh换取极高精度
16:58.520–17:00.680
zhAlphaFold就是典型案例
17:00.680–17:03.860
zh面向蛋白质折叠的专用模型取得巨大成功
17:03.860–17:05.480
zh却并非通用大模型
17:05.480–17:06.440
zh材料科学
17:06.440–17:09.920
zh芯片设计领域也存在同类的落地可能性
17:09.920–17:12.340
zh怎样成长为AI原生的创始人
17:12.340–17:13.140
zh他提到
17:13.140–17:14.920
zh和虚拟agent的协作的时候
17:14.920–17:16.840
zh把需求描述的越清晰
17:16.840–17:18.720
zh最终产出效果就越好
17:18.720–17:20.460
zh需求定义足够明确
17:20.460–17:22.540
zhAgent就拥有清晰的边界
17:22.540–17:23.880
zh明白自身的目标
17:23.880–17:25.980
zh从很早的计算机发展阶段
17:25.980–17:28.420
zh工程师就被要求开发软件之前
17:28.420–17:29.880
zh梳理清楚产品规格
17:29.880–17:32.540
zh如今只是把执行工作交给Agent
17:32.540–17:35.140
zh明确规格这件事反而变得更加关键
17:35.140–17:37.160
zh人类工程师可以读懂语境
17:37.160–17:38.780
zh主动反问确认细节
17:38.780–17:41.080
zhAgent虽然部分场景可以追问
17:41.080–17:44.300
zh但整体还是高度依赖清晰完备的需求描述
17:44.300–17:46.680
zh现在代码迁移类的Coding Agent
17:46.680–17:47.700
zh效果出众
17:47.700–17:49.740
zh背后的原因也正在于此
17:49.740–17:53.020
zh把一套软件从一门语言迁移到另一门语言
17:53.020–17:55.420
zh原始代码本身就是完整的规格
17:55.420–17:57.640
zh原有测试用力可以直接复用
17:57.640–17:59.000
zh同时完成迁移
17:59.000–18:01.380
zh持续比对新旧版本行为差异
18:01.380–18:03.100
zh直到二者表现对齐
18:03.100–18:04.880
zh正是规格足够明确
18:04.880–18:07.100
zh才造就这类任务亮眼的表现
18:07.100–18:09.220
zh未来大规模调度数百个Agent
18:09.220–18:10.080
zh成为常态
18:10.080–18:11.880
zh大量代码由Agent生成
18:11.880–18:13.740
zh什么能力会变得最为稀缺
18:13.740–18:15.800
zh杰弗·迪恩给出的答案是品位
18:15.800–18:19.440
zh也就是判断哪些问题值得交给agent去解决
18:19.440–18:21.900
zh放到研究领域大部分的成败
18:21.900–18:24.760
zh从选择研究课题的那一刻就已经注定
18:24.760–18:26.100
zh手握全套工具
18:26.100–18:28.120
zh不如选对值得投入的问题
18:28.120–18:30.180
zh把普通问题打磨得再精致
18:30.180–18:32.720
zh也比不上攻克一个高价值的难题
18:32.720–18:35.540
zh但是品位本身没有标准化的考核指标
18:35.540–18:36.880
zh应当如何训练
18:36.880–18:39.120
zh一部分来源于大量项目经验
18:39.120–18:41.480
zh经手足够多不同类型的问题
18:41.480–18:43.620
zh慢慢积累对机会的判断力
18:43.620–18:45.060
zh还有一个实操办法
18:45.060–18:46.880
zh写下未来12个月之内
18:46.880–18:49.260
zh自己预判会迎来爆发的方向
18:49.260–18:52.000
zh后续只挑选其中一部分落地
18:52.000–18:53.820
zh12个月之后回头复盘
18:53.820–18:55.460
zh看看哪些预判成真
18:55.460–18:57.140
zh哪些被其他人实现
18:57.140–18:58.640
zh哪些完全没有发生
18:58.640–19:00.960
zh相当于给自己制造大量样本
19:00.960–19:02.660
zh反向训练自己的判断力
19:02.660–19:05.720
zh第三种方式就是做疯狂的思想实验
19:05.720–19:08.780
zh不要把行业默认的前提全部当成真理
19:08.780–19:11.540
zh他分享了一段和同事开展的思想实验
19:11.540–19:12.660
zh过去60年
19:12.660–19:14.220
zh芯片设计制造行业
19:14.220–19:16.420
zh都在拼命缩小晶体管尺寸
19:16.420–19:17.880
zh压低出错概率
19:17.880–19:19.900
zh默认目标就是同一款芯片
19:19.900–19:22.040
zh每一颗成品都应当完全一致
19:22.040–19:23.600
zh不能出现比特翻转
19:23.600–19:24.940
zh但是宏观层面
19:24.940–19:27.520
zh大规模分布式系统的逻辑恰恰相反
19:27.520–19:29.440
zh依靠不可靠的硬件组件
19:29.440–19:31.040
zh搭建高可靠系统
19:31.040–19:32.180
zh磁盘会损坏
19:32.180–19:33.880
zh但是数据不能丢失
19:33.880–19:35.420
zh于是做多副本
19:35.420–19:36.680
zh使用纠缠码
19:36.680–19:38.240
zh可是这套容错思路
19:38.240–19:40.340
zh并没有下放到晶体管这一层
19:40.340–19:41.900
zh如果设计一套芯片
19:41.900–19:44.580
zh晶体管每天会出现20次错误
19:44.580–19:46.920
zh而不是几百万年才出现一次故障
19:46.920–19:48.940
zh整套系统会走向何方
19:48.940–19:51.680
zh制造工艺或许会迎来全新可能性
19:51.680–19:53.980
zh信号传输采用多条冗余通路
19:53.980–19:56.280
zh保障至少一路信号可以送达
19:56.280–19:59.500
zh这套逻辑和人脑神经信号传递十分相似
19:59.500–20:02.220
zh大脑信号传输本身就不是绝对可靠
20:02.220–20:05.220
zh重要信息就依靠多条通路同时传递
20:05.220–20:08.020
zh它并不是说当下就要落地这套方案
20:08.020–20:10.300
zh但是这类思想实验意义重大
20:10.300–20:13.500
zh要定期重新审视所有人习以为常的预设
20:13.500–20:15.120
zh回顾他的职业生涯
20:15.120–20:19.100
zhTPU的诞生就是推翻固有假设之后接触的果实
20:19.100–20:21.400
zh在问题还没有成为主流的时候
20:21.400–20:23.720
zh思考小众场景的专用硬件
20:23.720–20:25.420
zhMapReduce也是同理
20:25.420–20:28.000
zh团队厌倦了手工编写大量并行
20:28.000–20:29.840
zh容错相关的重复代码
20:29.840–20:31.920
zh于是提出全新抽象框架
20:31.920–20:34.340
zh上层只需要编写业务逻辑
20:34.340–20:36.920
zh底层统一处理并行调度和容错
20:36.920–20:40.040
zh最后成为谷歌大规模计算的核心底座
20:40.040–20:41.640
zh而这一切的源头
20:41.640–20:43.340
zh同样来自思想实验
20:43.340–20:45.700
zh现在有Alpha Chip辅助芯片布局
20:45.700–20:48.560
zh有Alpha UVO完成方案生成评估留存
20:48.560–20:50.620
zh整套AI制造AI的体系
20:50.620–20:51.900
zh正在逐步成型
20:51.900–20:52.880
zh广义来讲
20:52.880–20:55.320
zh这本质就是科学方法的自动化
20:55.320–20:56.380
zh提出假设
20:56.380–20:57.440
zh搭建环境
20:57.440–20:58.360
zh执行实验
20:58.360–20:59.380
zh评估结果
20:59.380–21:01.040
zh循环往复推进迭代
21:01.040–21:02.560
zh如今越来越多领域
21:02.560–21:04.200
zh可以把这套闭环自动化
21:04.200–21:06.100
zh一次性执行海量实验
21:06.100–21:07.520
zh压缩循环延迟
21:07.520–21:08.780
zh就变得格外关键
21:08.780–21:11.620
zh前提是评估器本身要足够快速
21:11.620–21:13.620
zh他举了一个十年之前的案例
21:13.620–21:15.300
zh同事研究量子化学
21:15.300–21:16.620
zh解析分子属性
21:16.620–21:18.480
zh传统密度泛含理论模拟器
21:18.480–21:20.060
zh跑一次就要耗费一整夜
21:20.060–21:22.540
zh团队收集大量输入输出样本
21:22.540–21:24.760
zh训练神经网络近似模拟器
21:24.760–21:26.500
zh速度提升30万倍
21:26.500–21:28.480
zh精度却几乎没有损失
21:28.480–21:30.220
zh彻底改写科研模式
21:30.220–21:32.320
zh从前筛选1000万候选分子
21:32.320–21:34.040
zh要耗费6个月筹备算力
21:34.040–21:35.580
zh现在一顿午饭的时间
21:35.580–21:36.760
zh就可以完成筛选
21:36.760–21:39.780
zh大量行业还有机会打造高速仿真模型
21:39.780–21:40.720
zh一旦实现
21:40.720–21:43.620
zh整个实验迭代周期就会被彻底重构
21:43.620–21:45.140
zh它最看好的方向
21:45.140–21:47.080
zh就是模型依靠大量实验
21:47.080–21:48.900
zh实现地规式自我改进
21:48.900–21:50.880
zh持续提升每一份算力
21:50.880–21:52.300
zh可以产出的新发现
21:52.300–21:53.900
zh对话推进到后半段
21:53.900–21:55.460
zh谈及职业路上的挫折
21:55.460–21:56.900
zh2014年杰弗蒂恩
21:56.900–21:57.960
zh杰弗里辛顿
21:57.960–21:59.400
zh奥里奥尔维尼亚尔斯
21:59.400–22:01.400
zh联合发布知识蒸馏论文
22:01.400–22:03.340
zh用大模型充当老师
22:03.340–22:04.860
zh小模型充当学生
22:04.860–22:06.120
zh得到体积更小
22:06.120–22:07.000
zh成本更低
22:07.000–22:08.600
zh同时效果优异的模型
22:08.600–22:11.000
zh如今整个行业都在广泛使用
22:11.000–22:13.700
zh但是这篇论文当年被NIPS聚稿
22:13.700–22:15.000
zh评审的观点认为
22:15.000–22:16.900
zh这项工作很难带来重大突破
22:16.900–22:18.060
zh杰弗迪恩表示
22:18.060–22:19.660
zh并不责怪评审委员会
22:19.660–22:21.320
zh对方站在学术视角
22:21.320–22:24.100
zh评判是否属于理论层面的重大突破
22:24.100–22:26.980
zh而团队清楚这件事巨大的工程价值
22:26.980–22:29.280
zh目标是降低模型服务成本
22:29.280–22:30.680
zh扩大落地场景
22:30.680–22:33.800
zh他们把论文上传到ARXV预印本平台
22:33.800–22:35.580
zh行业从业者阅读之后
22:35.580–22:36.640
zh大量落地使用
22:36.640–22:38.800
zhGemini当中的Flash系列模型
22:38.800–22:41.920
zh就有一部分来自大尺寸Pro模型的蒸馏
22:41.920–22:43.660
zh在同规格模型当中
22:43.660–22:45.520
zh基准测试表现十分靠前
22:45.520–22:47.360
zh这件事带来的启示就是
22:47.360–22:49.040
zh就算成果遭到拒绝
22:49.040–22:50.280
zh也不要停下脚步
22:50.280–22:51.820
zh如果把1999年
22:51.820–22:55.140
zh刚刚加入只有20人规模谷歌的年轻杰弗迪恩
22:55.140–22:57.080
zh直接传送到2026年
22:57.080–22:59.340
zh他会选择大厂前沿实验室
22:59.340–23:01.020
zh还是选择自主创业
23:01.020–23:02.840
zh他表示没有标准答案
23:02.840–23:04.236
zh最核心的判断表现
23:17.036–23:18.616
zh创业公司风险更高
23:18.616–23:20.196
zh必须拥有极强的热情
23:20.196–23:22.036
zh但也可以收获极高的回报
23:22.036–23:23.776
zh无论选择哪一条道路
23:23.776–23:24.976
zh都要反问自己
23:24.976–23:27.016
zh如果项目走到最好的结局
23:27.016–23:28.876
zh世界会不会切实变好
23:28.876–23:30.436
zh如果仅仅只是很酷
23:30.436–23:32.396
zh就不值得投入大量时间
23:32.396–23:34.836
zh谈及如何寻找优秀的合作者
23:34.836–23:36.876
zh不仅要寻找专业能力过硬
23:36.876–23:38.196
zh技能互补的伙伴
23:38.196–23:40.896
zh也要选择相处起来足够愉快的人
23:40.896–23:43.836
zh创业路上要共同面对大量棘手难题
23:43.836–23:45.796
zh彼此的相处体验格外重要
23:45.796–23:49.816
zh小团队的魅力就是每个人掌握其他人不具备的能力
23:49.816–23:53.016
zh组合在一起可以完成单人无法实现的成果
23:53.016–23:56.236
zh要把自己的工程或者科研生涯当成一条工具腰带
23:56.236–23:57.956
zh持续补充新的工具
23:57.956–24:01.016
zh你永远预料不到未来会碰到什么样的难题
24:01.016–24:02.436
zh掌握的工具越多
24:02.436–24:04.816
zh可以解决的问题边界就越宽广
24:04.816–24:06.736
zh主持人抛出最后一个问题
24:06.736–24:10.436
zh他希望新一代创作者把精力投入到哪些方向
24:10.436–24:11.716
zh杰弗迪恩讲到
24:11.716–24:13.696
zh值得探索的问题数不胜数
24:13.696–24:16.336
zh他个人十分看好全新硬件路线
24:16.336–24:18.936
zh高效推理硬件拥有巨大价值
24:18.936–24:21.976
zh机器学习算法本身也还有巨大革新空间
24:21.976–24:25.196
zh比如数据效率远远高于当下的系统
24:25.196–24:27.836
zh现在大模型18岁阶段接触的数据总量
24:27.836–24:30.596
zh比人类18岁接触的信息多出1000倍
24:30.596–24:32.676
zh但是人类在大量任务当中
24:32.676–24:34.816
zh依旧可以持平甚至优于大模型
24:34.816–24:37.176
zh我们能不能打造数据效率更高
24:37.176–24:40.516
zh可以从自身行动当中持续学习的系统
24:40.516–24:43.196
zh持续学习本身就是极具价值的课题
24:43.196–24:46.176
zh多agent交互同样充满想象空间
24:46.176–24:47.896
zh把视角在向外延伸
24:47.896–24:50.396
zh如何促成人类之间更良性的对话
24:50.396–24:52.736
zh搭建工具帮助人们理性交流
24:52.736–24:55.276
zh帮助志趣相投的人建立连接
24:55.276–24:57.436
zh同样是值得深耕的方向
24:57.436–24:58.536
zh整场对话听完
24:58.536–25:01.376
zh不难感受到杰弗迪恩看待行业的独特视角
25:01.376–25:04.016
zh他不会空谈AGI什么时候到来
25:04.016–25:05.116
zh而是立足于能耗
25:05.116–25:05.936
zh数据搬运
25:05.936–25:07.796
zh延迟这些底层物理约束
25:07.796–25:09.676
zh向上推导系统设计逻辑
25:09.676–25:10.996
zh推导创业机会
25:10.996–25:13.556
zh全行业疯狂内卷模型参数的时候
25:13.556–25:17.156
zh他提醒大家数据搬运的成本是计算的1000倍
25:17.156–25:20.636
zh推理硬件专用化是下一轮效率跃升的关键
25:20.636–25:23.696
zh所有人焦虑通用模型吞噬创业机会
25:23.696–25:27.676
zh他告诉大家去寻找成功率0%到1%的赛道
25:27.676–25:28.996
zh挖掘私有数据
25:28.996–25:30.756
zh垂直专用模型的机会
25:30.756–25:33.116
zh所有人埋头打磨提示词的时候
25:33.116–25:35.856
zh他点名未来最稀缺的资源是品位
25:35.856–25:37.796
zh是筛选问题的判断力
25:37.796–25:39.996
zh这些认知不是凭空想象
25:39.996–25:42.096
zh来自几十年系统工程沉淀
25:42.096–25:44.176
zh来自一次次参金值演算
25:44.176–25:46.976
zh来自一次次推翻固有认知的思想实验
25:46.976–25:49.376
zh以上就是整场访谈的核心精华
25:49.376–25:52.436
zh如果你觉得这些来自一线工程大佬的思考
25:52.436–25:53.236
zh对你有启发
25:53.236–25:54.336
zh欢迎点赞
25:54.336–25:57.996
zh也可以把这期内容分享给身边做AI开发创业的朋友
25:57.996–26:00.236
zh一起跳出网络上的流量炒作
26:00.236–26:02.636
zh看见行业更真实的底层逻辑
26:02.636–26:03.836
zh我们下期再见
0:00.000–0:01.201
你有没有想过,
0:01.201–0:03.602
真正定义AI下一阶段走向的,
0:03.602–0:07.204
未必是那些轰轰烈烈对外举办的大模型发布会。
0:07.204–0:10.805
而是少数行业元老在创业社群内部的深度对话。
0:10.805–0:13.893
很多足以改变后续行业走向的核心观点,
0:13.893–0:15.265
最先都是诞生在,
0:15.265–0:16.980
这类小规模交流现场,
0:16.980–0:18.695
没有华丽的宣传包装。
0:18.695–0:22.125
全部是几十年工程实践沉淀下来的硬核思考。
0:22.125–0:22.812
前不久,
0:22.812–0:28.300
谷歌的杰弗迪恩就在YC创业学校完成了一场信息密度极高的圆桌对话。
0:28.300–0:31.420
整场交流把当下AI行业的现实瓶颈
0:31.420–0:32.840
硬件底层逻辑
0:32.840–0:34.280
agent发展边界
0:34.280–0:37.020
还有普通创业者能够抓住的现实机遇
0:37.020–0:38.840
全部完整剖析出来
0:38.840–0:41.200
如果你正在接触AI相关项目
0:41.200–0:43.340
或是想要看懂未来三五年
0:43.340–0:45.020
行业真实的眼睛路线
0:45.020–0:47.280
接下来的内容值得仔细看完
0:47.280–0:49.180
觉得内容对你有启发
0:49.180–0:50.320
可以点赞支持
0:50.320–0:52.240
不错过更多硬核行业解读
0:52.240–0:55.340
主持人开场抛出的第一个问题就相当尖锐
0:55.340–0:58.100
直接回溯到一年之前的公开观点
0:58.100–1:02.460
去年5月份杰弗迪恩曾经在AISNOT的活动上提出一个判断
1:02.460–1:04.940
AI已经达到初级工程师的水准
1:04.940–1:06.100
时隔一整年
1:06.100–1:07.580
行业内外都在观望
1:07.580–1:09.980
当初的这番论断到底有没有应验
1:09.980–1:11.160
面对这个问题
1:11.160–1:13.400
杰弗迪恩没有选择夸大成果
1:13.400–1:15.100
也没有刻意淡化进展
1:15.100–1:17.300
他给出了一份非常务实的复盘
1:17.300–1:21.400
在Agent的体系配合长周期运行时的编程任务当中
1:21.400–1:25.240
大模型能力的迭代速度远远超出他此前的预估
1:25.240–1:27.740
放到初级工程师的评判标准之下
1:27.740–1:30.360
当初的判断大体上已经得到验证
1:30.360–1:31.780
但同时他也坦诚
1:31.780–1:35.360
自己严重低估了复杂任务处理能力的上涨幅度
1:35.360–1:38.520
实际提升速度比事前的预判要快得多
1:38.520–1:41.580
能力的提升并不单单局限在代码编写
1:41.580–1:44.200
这个单一赛道Agent这套运行范式
1:44.200–1:46.980
正在其他各式各样的业务场景当中
1:46.980–1:49.060
展现出实实在在的价值
1:49.060–1:50.300
顺着这个话题
1:50.300–1:51.860
主持人继续向前追问
1:51.860–1:53.780
把目光投向2027年
1:53.780–1:56.780
想要听听属于杰弗迪恩的新一轮大胆预判
1:56.780–1:58.580
他思索之后给出了答案
1:58.580–2:01.740
核心落在机器学习系统的自我自动化上面
2:01.740–2:02.680
简单来讲
2:02.680–2:06.120
就是让AI系统自主开展大批量的实验工作
2:06.120–2:09.920
把复杂的大问题拆解成若干个更小的子任务
2:09.920–2:12.140
搭建一套闭环的自动实验循环
2:12.140–2:14.080
完成子任务的处理之后
2:14.080–2:16.520
再把分散的结果重新整合汇总
2:16.520–2:18.960
以此完成自身能力的迭代升级
2:18.960–2:22.200
这套全自动问题拆解搭配自动实验的思路
2:22.200–2:24.680
并不单单局限于机器学习本身
2:24.680–2:27.220
只要某一个科学或者工程领域
2:27.220–2:30.120
能够建立起一套可以量化衡量的目标
2:30.120–2:32.040
就有机会依靠这套模式
2:32.040–2:33.380
拿到巨大的突破
2:33.380–2:34.280
讲到这里
2:34.280–2:37.100
主持人抛出一个很有历史氛围感的类比
2:37.100–2:38.640
2001年的时候
2:38.640–2:42.040
谷歌搜索还完全依靠硬盘完成数据读取
2:42.040–2:44.100
杰弗迪恩和长期搭档桑杰
2:44.100–2:46.980
通过餐金值演算完成一轮成本测算
2:46.980–2:48.080
得出一个结论
2:48.080–2:49.800
未来某一个时间节点
2:49.800–2:51.160
整套搜索索引
2:51.160–2:53.780
完全可以全部放进机器的内存之中
2:53.780–2:54.820
基于这个判断
2:54.820–2:58.720
两个人短短几天就迭代出全新版本的谷歌搜索
2:58.720–3:00.780
不再依赖硬盘读取数据
3:00.780–3:02.560
全部运行在内存当中
3:02.560–3:06.780
这也成为谷歌搜索体验实现跨越时提升的关键转折点
3:06.780–3:09.060
历史总是会出现相似的韵律
3:09.060–3:10.760
那么放到2026年
3:10.760–3:12.260
属于当下这个时代
3:12.260–3:15.500
整套系统全部搬进内存的标志性时刻又会是什么
3:15.500–3:17.340
现场6000名创业者
3:17.340–3:20.380
又应当盯住哪些信号去设计自己的产品
3:20.380–3:23.460
杰弗迪恩的回答把落脚点放在硬件层面
3:23.460–3:26.980
它坦言当下的情况和当年谷歌搜索的故事
3:26.980–3:28.320
并不能完全等同
3:28.320–3:30.240
但有一个趋势是确定的
3:30.240–3:33.220
高性能同时兼顾低能耗的推理硬件系统
3:33.220–3:34.860
会迎来大规模普及
3:34.860–3:36.820
整个行业已经形成共识
3:36.820–3:39.340
推理环节才是让agent大规模面
3:39.340–3:41.720
向普通用户落地的核心基石
3:41.720–3:45.100
而延迟又是决定用户体验好坏的关键指标
3:45.100–3:46.700
硬件走向专业化
3:46.700–3:49.340
是整套系统相比通用GPU TPU设备
3:49.340–3:51.240
实现更低功耗
3:51.240–3:53.460
更低延迟最重要的实现路径
3:53.460–3:57.000
我们所有人都已经习惯等待模型返回输出结果
3:57.000–3:59.800
但等待本身并不是良好的用户体验
3:59.800–4:01.360
速度才是一切的王道
4:01.360–4:03.700
主持人继续顺着这个方向推进
4:03.700–4:06.120
如果延迟可以直接降低50倍
4:06.120–4:08.700
整个行业会发生什么样的变化
4:08.700–4:11.240
紧接着又抛出另外一个值得深思的问题
4:11.240–4:12.220
时至今日
4:12.220–4:15.100
行业当中还有哪些被大家全盘接受
4:15.100–4:18.320
但实际上已经不再成立的固有AI假设
4:18.320–4:19.920
杰弗迪恩给出的回答
4:19.920–4:21.660
会刷新不少人的固有认知
4:21.660–4:23.200
绝大多数从业者
4:23.200–4:24.800
还没有真正接纳一件事
4:24.800–4:27.460
依托能力足够强的底层基座模型
4:27.460–4:30.340
Agent并不只能运行短短一两个小时
4:30.340–4:32.500
连续运转几天甚至几周
4:32.500–4:34.760
去完成复杂度极高的任务
4:34.760–4:37.160
这件事已经具备现实可行性
4:37.160–4:38.800
现在小部分从业者
4:38.800–4:40.040
已经看到苗头
4:40.040–4:41.300
可绝大多数人
4:41.300–4:43.180
并没有真正把这个可能性
4:43.180–4:45.980
内化到自己的产品设计逻辑当中
4:45.980–4:48.720
而这件事未来会释放出巨大的影响力
4:48.720–4:51.560
很多人会好奇到底什么样的业务场景
4:51.560–4:54.180
需要Agent连续运航数周的时间
4:54.180–4:56.540
杰弗迪恩举了一个很具象的案例
4:56.540–5:00.680
我们可以交给Agent一项完整的软件版本重构工作
5:00.680–5:04.680
把一整套软件完整迁移到另外一门编程语言
5:04.680–5:07.680
重构之后的版本可以实现安全性的提升
5:07.680–5:09.400
或是运行性能的优化
5:09.400–5:12.560
AI完全可以持续推进整套复杂工程
5:12.560–5:14.400
把这项工作落地完成
5:14.400–5:17.360
话题就此切换到TPU诞生的过往
5:17.360–5:20.220
杰弗迪恩在行业里面广为流传的习惯
5:20.220–5:21.840
就是餐巾纸数学
5:21.840–5:25.780
也就是在餐巾纸上快速完成数量级层面的粗略估算
5:25.780–5:27.920
时间回到2013年前后
5:27.920–5:30.540
谷歌语音识别的效果迎来实质性的飞跃
5:30.540–5:31.940
他做过一笔测算
5:31.940–5:34.000
如果每一位谷歌手机用户
5:34.000–5:36.900
每天仅仅使用三分钟的语音识别功能
5:36.900–5:40.160
谷歌整体的服务器集群规模就需要直接翻倍
5:40.160–5:43.360
对应的成本会膨胀到完全无法接受的地步
5:43.360–5:45.180
为了解决这个现实难题
5:45.180–5:47.180
团队决定自研专属芯片
5:47.180–5:49.020
这也就是TPU的起源
5:49.020–5:49.880
他回忆
5:49.880–5:52.440
那时候深度学习驱动的语音系统
5:52.440–5:53.800
对比旧有方案
5:53.800–5:55.840
算力开销高出一大截
5:55.840–5:57.960
但是错误率直接减半
5:57.960–6:00.120
短短几个月时间就拿到过去
6:00.120–6:02.960
20年语音识别领域积累下来的全部进步
6:02.960–6:05.780
初代TPU没有办法运行Chrome浏览器
6:05.780–6:07.840
也跑不了Word这类通用软件
6:07.840–6:10.020
但是在机器学习推理场景当中
6:10.020–6:11.300
拥有极强的针对性
6:11.300–6:13.260
最终落地的初代芯片
6:13.260–6:15.080
对比CPU和GPU
6:15.080–6:17.520
能效可以提升30到80倍
6:17.520–6:19.600
延迟下降20到30倍
6:19.600–6:21.880
打下了非常扎实的技术底子
6:21.880–6:24.820
后续TPU才一步步迭代成如今的模样
6:24.820–6:28.200
有意思的地方在于团队研发TPU的那个阶段
6:28.200–6:30.160
Transformer架构还没有问世
6:30.160–6:34.720
没有人能够预料到后续TPU会成为整个AI产业的基石硬件
6:34.720–6:36.040
也正是因为这样
6:36.040–6:40.560
当时团队的设计思路是打造一套通用线性怠数运算系统
6:40.560–6:44.320
而不是死死绑定某一套特定算法做极致专用化
6:44.320–6:47.620
机器学习算法永远处在持续演化的进程当中
6:47.620–6:49.220
硬件不能过度定制
6:49.220–6:51.480
但是又要保留足够的专用属性
6:51.480–6:53.300
以此拿到巨大的性能收益
6:53.300–6:55.400
比如做大规格乘法运算单元
6:55.400–6:56.700
配置高速内存
6:56.700–6:58.180
搭建高速互联通路
6:58.180–7:01.980
后续几代TPU更是优化多芯片协同工作的能力
7:01.980–7:05.380
让大量芯片可以联合处理同一个复杂任务
7:05.380–7:06.480
主持人接着提问
7:06.480–7:07.480
放到今天
7:07.480–7:10.160
创业者又该做怎样的餐巾纸数学
7:10.160–7:12.720
能不能依靠简单的数量级估算
7:12.720–7:16.240
挖掘出下一代如同TPO一般重量级的创新
7:16.240–7:17.420
杰弗蒂恩表示
7:17.420–7:19.480
这件事没有统一标准答案
7:19.480–7:21.880
但是底层思考逻辑是相通的
7:21.880–7:24.800
首先找准自己所在赛道真正的瓶颈
7:24.800–7:26.120
再去反问自己
7:26.120–7:29.920
是否存在一套和当下主流方案完全不一样的解法
7:29.920–7:33.440
能不能把核心指标抬升一个甚至两个数量级
7:33.440–7:36.980
不要被市面上已经成熟的实现方案束缚住思路
7:36.980–7:38.940
回归第一性原理去思考
7:38.940–7:41.040
如果从零开始解决这个问题
7:41.040–7:42.860
自己会选择什么样的路径
7:42.860–7:45.460
往往就能够挖掘出别人看不见的机会
7:45.460–7:47.060
随后主持人问到一个
7:47.060–7:49.140
只有内行才会深究的话题
7:49.140–7:52.600
多年以前杰弗迪恩写过一份流传极广的清单
7:52.600–7:56.160
名字叫做每个工程师都应该知道的延迟数字
7:56.160–7:58.560
里面记录缓存未命中的耗石
7:58.560–8:00.000
磁盘寻道耗石
8:14.280–8:17.660
杰弗迪恩列举出一系列至关重要的硬件数字
8:17.660–8:20.600
储存到加速器片上内存之间的带宽
8:20.600–8:22.880
通往乘法运算单元的带宽
8:22.880–8:25.700
完成一次乘法运算需要消耗的能量
8:25.700–8:27.980
芯片与芯片之间的互联带宽
8:27.980–8:31.220
在该带宽条件之下可以联动多少颗芯片
8:31.220–8:35.240
还有从500颗芯片扩展到1万颗芯片的规模过程当中
8:35.240–8:37.980
网络带宽会出现多大程度的衰减
8:37.980–8:42.360
这些底层数字会实实在在约束上层业务问题的解法
8:42.360–8:46.440
紧接着他抛出一个足以改变很多人AI系统设计思路的数据
8:46.440–8:49.940
完成一次计算消耗的能量大概在EP焦2级别
8:49.940–8:51.800
但是完成一次数据搬运
8:51.800–8:52.980
一次IO操作
8:52.980–8:55.300
消耗的能量是前者的1000倍
8:55.300–8:59.780
就算只是把数据从加速器的高带宽内存搬运到处理器内部
8:59.780–9:00.860
参与运算
9:00.860–9:03.160
能量开销同样会急剧拉高
9:03.160–9:07.600
搬数据的代价远远高于做计算这条物理层面的硬约数
9:07.600–9:10.540
塑造了机器学习领域大量的工程选择
9:10.540–9:13.160
如果不存在如此悬殊的能耗差距
9:13.160–9:15.600
我们就不需要对数据做批量处理
9:15.600–9:17.480
可现实条件摆在眼前
9:17.480–9:21.620
工程师只能把大量样本或者token攒成批次统一处理
9:21.620–9:24.680
以此贪薄数据搬运带来的巨大能耗惩罚
9:24.680–9:26.160
把1000倍的开销
9:26.160–9:28.380
稀释为1000除以批次规模
9:28.380–9:31.380
但如果我们追求极低延迟的推理表现
9:31.380–9:34.100
批量处理这套逻辑就会变成阻碍
9:34.100–9:35.880
底层硬件的能量约束
9:35.880–9:39.180
会自上而下影响整套AI系统的每一层设计
9:39.180–9:40.460
主持人继续追问
9:40.460–9:43.960
那我们有没有机会实现单条数据的处理模式
9:43.960–9:47.540
杰弗迪恩表示自己现阶段思考更多的是推理测的问题
9:47.540–9:50.760
推理业务天然对低延迟有着强烈诉求
9:50.760–9:53.700
训练环节对此的要求反而没有那么严苛
9:53.700–9:54.800
在他看来
9:54.800–9:56.600
推理硬件的专用化程度
9:56.600–9:58.580
如今远远还没有抵达上线
9:58.580–9:59.920
核心优化方向
9:59.920–10:02.760
一方面是尽可能压缩数据搬运的频次
10:02.760–10:05.220
另一方面去探索极低精度运算
10:05.220–10:08.400
不需要硬件去兼容五花八门的精度规格
10:08.400–10:10.360
把业务真正需要的精度
10:10.360–10:12.440
直接固化到硬件设计当中
10:12.440–10:14.520
聊完硬件层面的种种约束
10:14.520–10:16.420
对话把视角向上拉高
10:16.420–10:18.460
过去大家谈及AI进步
10:18.460–10:20.760
惯性思维就是模型规模更大
10:20.760–10:22.240
训练数据更多
10:22.240–10:23.520
参数体量上涨
10:23.520–10:24.800
训练时间拉长
10:24.800–10:25.960
但是最近几年
10:25.960–10:27.400
真正拉开差距的
10:27.400–10:28.820
不再只有模型本体
10:28.820–10:31.100
模型外围的整套配套体系
10:31.100–10:32.800
价值正在持续走高
10:32.800–10:35.560
不单单要看参数规模和训练数据集
10:35.560–10:36.480
检索工具
10:36.480–10:37.400
记忆模块
10:37.400–10:38.040
Agent
10:38.040–10:38.760
工具链
10:38.760–10:41.040
全部都是不可或缺的组成部分
10:41.040–10:42.880
杰弗迪恩认同这样的看法
10:42.880–10:45.320
模型只是整套解决方案当中的
10:45.320–10:46.320
其中一块拼图
10:46.320–10:47.540
我们真正的目标
10:47.540–10:49.140
是搭建一整套
10:49.140–10:52.020
可以解决复杂现实问题的完整系统
10:52.020–10:53.900
这就意味着模型要学会
10:53.900–10:55.560
调用各式各样的外部工具
10:55.560–10:57.540
检索外部相关信息
10:57.540–10:59.100
留存过往处理其他任务
10:59.100–11:00.480
沉淀下来的历史信息
11:00.480–11:01.900
并且把这些信息
11:01.900–11:03.780
带入当下的上下文当中
11:03.780–11:05.660
这里有一个很关键的区别
11:05.660–11:08.080
训练数据就像是一锅大杂烩
11:08.080–11:10.360
数万亿token混杂在一起
11:10.360–11:13.280
压缩近几千亿的模型参数内部
11:13.280–11:13.920
与之对比
11:13.920–11:17.060
模型在处理具体任务时拿到的上下文信息
11:17.060–11:18.440
逻辑会清晰很多
11:18.440–11:20.900
同时模型还要识别可用的工具
11:20.900–11:23.320
判断哪些工具适配当前步骤
11:23.320–11:26.280
如何把大任务拆解成一连串工具调用
11:26.280–11:28.920
甚至尝试多条不同的解题路径
11:28.920–11:30.980
再评估各个方案的实际效果
11:30.980–11:34.920
这就是复杂agent以及dooragent编排的核心能力
11:34.920–11:37.440
上下文工程这个方向很有意思的一点
11:37.440–11:39.720
使它的准入门槛相对更低
11:39.720–11:41.840
训练大模型需要海量算力
11:41.840–11:43.340
海量数据资源
11:43.340–11:44.900
普通团队很难触碰
11:44.900–11:46.460
但是做上下文工程
11:46.460–11:49.340
只需要调用Gemini这类模型的API接口
11:49.340–11:51.680
再搭配自己搭建的检索逻辑
11:51.680–11:53.040
工具调用流程
11:53.040–11:54.160
工作流编排
11:54.160–11:55.540
就可以动手实践
11:55.540–11:57.960
想要把上下文工程做到足够强
11:57.960–12:01.060
杰弗迪恩给出一套非常务实的实操思路
12:01.060–12:03.360
就是实实在在拿模型和工具链
12:03.360–12:04.580
去处理真实业务
12:04.580–12:07.320
在实操当中观察模型的出错点位
12:07.320–12:09.660
很多时候想要提升模型表现
12:09.660–12:12.180
并不需要去改动底层模型权重
12:12.180–12:14.360
而是提供质量更高的指引
12:14.360–12:16.400
编写更完善的技能描述
12:16.400–12:18.440
告诉模型面对某一类问题
12:18.440–12:19.940
应当如何调用工具
12:19.940–12:21.280
反复迭代之后
12:21.280–12:22.780
你就会慢慢摸清楚
12:22.780–12:24.480
模型还缺少哪些信息
12:24.480–12:27.400
由此进入自我迭代优化的正向循环
12:27.400–12:29.400
他分享了一段亲身经历
12:29.400–12:30.300
几周之前
12:30.300–12:33.240
他和桑杰一起做底层代码库的性能调优
12:33.240–12:36.560
团队内部有自研的微型基准测试库
12:36.560–12:38.640
可以统计各类操作的耗时
12:38.640–12:42.280
这套数据结构被谷歌内部几百万个进程调用
12:42.280–12:44.380
性能表现必须得到保障
12:44.380–12:46.020
在没有Agent的时代
12:46.020–12:48.500
完整流程是先测试现有性能
12:48.500–12:49.480
修改代码
12:49.480–12:51.120
重新跑基准测试
12:51.120–12:52.600
观察性能变化
12:52.600–12:54.560
还要执行更大范围的测试
12:54.560–12:56.800
检查缓存占用等一系列指标
12:56.800–12:59.060
后来他们专门编写对应的技能
12:59.060–13:01.860
教会Agent完整复刻整套工作流
13:01.860–13:03.260
执行基准测试
13:03.260–13:04.460
修改代码
13:04.460–13:05.900
重新叫验性能指标
13:05.900–13:07.480
《循环迭代优化》
13:07.480–13:10.500
这套方案在部分问题上拿到相当不错的效果
13:10.500–13:13.320
本质上就是把人类工程师的工作流程
13:13.320–13:16.080
转化成模型能够读懂执行的指令
13:16.080–13:17.100
几个月之前
13:17.100–13:20.440
他和桑杰共同发布过一份30页左右的公开文档
13:20.440–13:22.980
名字叫做Performance Heightened TS
13:22.980–13:25.480
记录大量性能优化的实操技巧
13:25.480–13:29.060
已经有不少开发者把这份文档做总结提炼之后
13:29.060–13:30.520
投入给不同的大模型
13:30.520–13:32.480
最终测试结果显示
13:32.480–13:35.760
模型分析代码性能问题的能力得到明显提升
13:35.760–13:38.640
而且这份资料对所有人完全公开
13:38.640–13:39.780
谈及agent
13:39.780–13:42.240
有一个所有人都会碰到的现实痛点
13:42.240–13:45.940
不少agent在前十几步执行都十分顺畅
13:45.940–13:47.400
等到推进到第三十步
13:47.400–13:48.120
四十步
13:48.120–13:49.360
甚至五十步之后
13:49.360–13:51.040
就会开始逻辑跑偏
13:51.040–13:52.420
杰弗迪恩坦言
13:52.420–13:54.980
这就是当下技术最大的约束条件
13:54.980–13:58.360
一部分原因是模型处理训练机之外的任务
13:58.360–14:00.120
一旦脱离熟悉的任务分布
14:00.120–14:01.420
效果就会下滑
14:01.420–14:03.620
偏离熟悉的边界越远
14:03.620–14:04.760
失效概率就越高
14:04.760–14:05.780
针对该问题
14:05.780–14:07.880
有两条可行的解决路径
14:07.880–14:08.560
第一种
14:08.560–14:10.920
编写对应的技能和提示之意
14:10.920–14:13.240
尽量让模型维持在自己熟悉
14:13.240–14:15.060
成功率更高的执行路径
14:15.060–14:15.840
第二种
14:15.840–14:17.400
采用多agent的架构
14:17.400–14:18.880
让多个独立agent
14:18.880–14:20.780
并行尝试不同解题思路
14:20.780–14:23.100
再交由另外一个模型或者agent
14:23.100–14:24.920
去评判各个路径的可行性
14:24.920–14:27.120
本质就是对全部可行解法
14:27.120–14:28.080
做搜索筛选
14:28.080–14:29.640
保留有希望的分支
14:29.640–14:31.540
丢弃无效跑偏的分支
14:31.540–14:32.780
依靠推理计算
14:32.780–14:34.460
去便利解决方案空间
14:34.460–14:36.880
以此提升常链路Agent的定性
14:36.880–14:40.000
在谷歌内部就搭建了一整套调度框架
14:40.000–14:41.220
以及海量技能库
14:41.220–14:43.340
Agent可以调用内部编码工具
14:43.340–14:44.660
执行代码审查
14:44.660–14:45.980
完成性能测试
14:45.980–14:47.300
读取日志文件
14:47.300–14:49.040
只要技能定义足够合理
14:49.040–14:51.680
Agent的实用价值就会被大幅释放
14:51.680–14:52.480
紧接着
14:52.480–14:55.900
对话落到在场每一位创业者都无比关心的命题
14:55.900–14:58.960
谷歌能够做到从处理器到上层产品
14:58.960–15:00.480
全链路协同设计
15:00.480–15:03.340
那对于两三个人组成的小型创业团队
15:03.340–15:05.600
还剩下哪些可以抓住的机会
15:05.600–15:06.980
杰弗迪恩讲到
15:06.980–15:09.320
谷歌以及通用大模型团队
15:09.320–15:11.880
都在竭尽全力打造通用性极强
15:11.880–15:14.480
几乎可以处理各类任务的基座模型
15:14.480–15:17.020
但恰恰是追求通用这个前提
15:17.020–15:19.980
导致它很难针对某一个垂直细分领域
15:19.980–15:21.060
做深度打磨
15:21.060–15:22.280
如果创业团队
15:22.280–15:25.640
可以针对特定行业打磨优质的产品交互界面
15:25.640–15:27.460
配套专属的技能体系
15:27.460–15:29.820
甚至是垂直微调的专用模型
15:29.820–15:32.600
完全有机会建立起明显的竞争优势
15:32.600–15:34.120
打造出体验流畅
15:34.120–15:36.060
准确率出色的垂直产品
15:36.060–15:37.800
不过他也做出提醒
15:37.800–15:40.400
通用模型的能力还在持续变强
15:40.400–15:42.340
覆盖的场景不断扩张
15:42.340–15:44.200
创业者必须做好判断
15:44.200–15:45.520
自己选择的赛道
15:45.520–15:47.360
是未来半年到12个月
15:47.360–15:48.880
就会被通用模型覆盖
15:48.880–15:50.220
还是两三年之内
15:50.220–15:51.820
通用模型都难以企及
15:51.820–15:54.220
以此判断赛道的抗风险能力
15:54.220–15:56.240
那创业者应当如何筛选
15:56.240–15:57.620
值得投入的方向
15:57.620–15:59.400
他给出的第一条建议朴素
15:59.400–16:00.000
但是分类
16:15.000–16:16.640
往往代表存在机会
16:16.640–16:18.460
如果已经可以完成一部分
16:18.460–16:20.040
只是效果不够完美
16:20.040–16:21.380
反而要提高警惕
16:21.380–16:23.760
这代表能力的种子已经存在
16:23.760–16:25.560
只需要补充训练数据
16:25.560–16:26.980
扩大模型规模
16:26.980–16:28.640
能力就会快速迭代
16:28.640–16:31.160
所以要优先寻找当下通用模型
16:31.160–16:33.980
成功率只有0%或者1%的问题
16:33.980–16:36.220
而不是20%左右的赛道
16:36.220–16:37.280
这类机会
16:37.280–16:40.300
一部分属于训练分布之外的全新任务
16:40.300–16:41.300
另一类场景
16:41.300–16:43.300
是产品可以拿到通用模型
16:43.300–16:44.900
接触不到的私有数据
16:45.000–16:47.100
比如处理用户个人信息的产品
16:47.100–16:50.160
通用模型本身无法获取用户私人资料
16:50.160–16:51.720
这就创造天然壁垒
16:51.720–16:52.960
还有一类机会
16:52.960–16:54.320
针对高难度问题
16:54.320–16:57.020
以可控成本训练垂直专用模型
16:57.020–16:58.520
换取极高精度
16:58.520–17:00.680
AlphaFold就是典型案例
17:00.680–17:03.860
面向蛋白质折叠的专用模型取得巨大成功
17:03.860–17:05.480
却并非通用大模型
17:05.480–17:06.440
材料科学
17:06.440–17:09.920
芯片设计领域也存在同类的落地可能性
17:09.920–17:12.340
怎样成长为AI原生的创始人
17:12.340–17:13.140
他提到
17:13.140–17:14.920
和虚拟agent的协作的时候
17:14.920–17:16.840
把需求描述的越清晰
17:16.840–17:18.720
最终产出效果就越好
17:18.720–17:20.460
需求定义足够明确
17:20.460–17:22.540
Agent就拥有清晰的边界
17:22.540–17:23.880
明白自身的目标
17:23.880–17:25.980
从很早的计算机发展阶段
17:25.980–17:28.420
工程师就被要求开发软件之前
17:28.420–17:29.880
梳理清楚产品规格
17:29.880–17:32.540
如今只是把执行工作交给Agent
17:32.540–17:35.140
明确规格这件事反而变得更加关键
17:35.140–17:37.160
人类工程师可以读懂语境
17:37.160–17:38.780
主动反问确认细节
17:38.780–17:41.080
Agent虽然部分场景可以追问
17:41.080–17:44.300
但整体还是高度依赖清晰完备的需求描述
17:44.300–17:46.680
现在代码迁移类的Coding Agent
17:46.680–17:47.700
效果出众
17:47.700–17:49.740
背后的原因也正在于此
17:49.740–17:53.020
把一套软件从一门语言迁移到另一门语言
17:53.020–17:55.420
原始代码本身就是完整的规格
17:55.420–17:57.640
原有测试用力可以直接复用
17:57.640–17:59.000
同时完成迁移
17:59.000–18:01.380
持续比对新旧版本行为差异
18:01.380–18:03.100
直到二者表现对齐
18:03.100–18:04.880
正是规格足够明确
18:04.880–18:07.100
才造就这类任务亮眼的表现
18:07.100–18:09.220
未来大规模调度数百个Agent
18:09.220–18:10.080
成为常态
18:10.080–18:11.880
大量代码由Agent生成
18:11.880–18:13.740
什么能力会变得最为稀缺
18:13.740–18:15.800
杰弗·迪恩给出的答案是品位
18:15.800–18:19.440
也就是判断哪些问题值得交给agent去解决
18:19.440–18:21.900
放到研究领域大部分的成败
18:21.900–18:24.760
从选择研究课题的那一刻就已经注定
18:24.760–18:26.100
手握全套工具
18:26.100–18:28.120
不如选对值得投入的问题
18:28.120–18:30.180
把普通问题打磨得再精致
18:30.180–18:32.720
也比不上攻克一个高价值的难题
18:32.720–18:35.540
但是品位本身没有标准化的考核指标
18:35.540–18:36.880
应当如何训练
18:36.880–18:39.120
一部分来源于大量项目经验
18:39.120–18:41.480
经手足够多不同类型的问题
18:41.480–18:43.620
慢慢积累对机会的判断力
18:43.620–18:45.060
还有一个实操办法
18:45.060–18:46.880
写下未来12个月之内
18:46.880–18:49.260
自己预判会迎来爆发的方向
18:49.260–18:52.000
后续只挑选其中一部分落地
18:52.000–18:53.820
12个月之后回头复盘
18:53.820–18:55.460
看看哪些预判成真
18:55.460–18:57.140
哪些被其他人实现
18:57.140–18:58.640
哪些完全没有发生
18:58.640–19:00.960
相当于给自己制造大量样本
19:00.960–19:02.660
反向训练自己的判断力
19:02.660–19:05.720
第三种方式就是做疯狂的思想实验
19:05.720–19:08.780
不要把行业默认的前提全部当成真理
19:08.780–19:11.540
他分享了一段和同事开展的思想实验
19:11.540–19:12.660
过去60年
19:12.660–19:14.220
芯片设计制造行业
19:14.220–19:16.420
都在拼命缩小晶体管尺寸
19:16.420–19:17.880
压低出错概率
19:17.880–19:19.900
默认目标就是同一款芯片
19:19.900–19:22.040
每一颗成品都应当完全一致
19:22.040–19:23.600
不能出现比特翻转
19:23.600–19:24.940
但是宏观层面
19:24.940–19:27.520
大规模分布式系统的逻辑恰恰相反
19:27.520–19:29.440
依靠不可靠的硬件组件
19:29.440–19:31.040
搭建高可靠系统
19:31.040–19:32.180
磁盘会损坏
19:32.180–19:33.880
但是数据不能丢失
19:33.880–19:35.420
于是做多副本
19:35.420–19:36.680
使用纠缠码
19:36.680–19:38.240
可是这套容错思路
19:38.240–19:40.340
并没有下放到晶体管这一层
19:40.340–19:41.900
如果设计一套芯片
19:41.900–19:44.580
晶体管每天会出现20次错误
19:44.580–19:46.920
而不是几百万年才出现一次故障
19:46.920–19:48.940
整套系统会走向何方
19:48.940–19:51.680
制造工艺或许会迎来全新可能性
19:51.680–19:53.980
信号传输采用多条冗余通路
19:53.980–19:56.280
保障至少一路信号可以送达
19:56.280–19:59.500
这套逻辑和人脑神经信号传递十分相似
19:59.500–20:02.220
大脑信号传输本身就不是绝对可靠
20:02.220–20:05.220
重要信息就依靠多条通路同时传递
20:05.220–20:08.020
它并不是说当下就要落地这套方案
20:08.020–20:10.300
但是这类思想实验意义重大
20:10.300–20:13.500
要定期重新审视所有人习以为常的预设
20:13.500–20:15.120
回顾他的职业生涯
20:15.120–20:19.100
TPU的诞生就是推翻固有假设之后接触的果实
20:19.100–20:21.400
在问题还没有成为主流的时候
20:21.400–20:23.720
思考小众场景的专用硬件
20:23.720–20:25.420
MapReduce也是同理
20:25.420–20:28.000
团队厌倦了手工编写大量并行
20:28.000–20:29.840
容错相关的重复代码
20:29.840–20:31.920
于是提出全新抽象框架
20:31.920–20:34.340
上层只需要编写业务逻辑
20:34.340–20:36.920
底层统一处理并行调度和容错
20:36.920–20:40.040
最后成为谷歌大规模计算的核心底座
20:40.040–20:41.640
而这一切的源头
20:41.640–20:43.340
同样来自思想实验
20:43.340–20:45.700
现在有Alpha Chip辅助芯片布局
20:45.700–20:48.560
有Alpha UVO完成方案生成评估留存
20:48.560–20:50.620
整套AI制造AI的体系
20:50.620–20:51.900
正在逐步成型
20:51.900–20:52.880
广义来讲
20:52.880–20:55.320
这本质就是科学方法的自动化
20:55.320–20:56.380
提出假设
20:56.380–20:57.440
搭建环境
20:57.440–20:58.360
执行实验
20:58.360–20:59.380
评估结果
20:59.380–21:01.040
循环往复推进迭代
21:01.040–21:02.560
如今越来越多领域
21:02.560–21:04.200
可以把这套闭环自动化
21:04.200–21:06.100
一次性执行海量实验
21:06.100–21:07.520
压缩循环延迟
21:07.520–21:08.780
就变得格外关键
21:08.780–21:11.620
前提是评估器本身要足够快速
21:11.620–21:13.620
他举了一个十年之前的案例
21:13.620–21:15.300
同事研究量子化学
21:15.300–21:16.620
解析分子属性
21:16.620–21:18.480
传统密度泛含理论模拟器
21:18.480–21:20.060
跑一次就要耗费一整夜
21:20.060–21:22.540
团队收集大量输入输出样本
21:22.540–21:24.760
训练神经网络近似模拟器
21:24.760–21:26.500
速度提升30万倍
21:26.500–21:28.480
精度却几乎没有损失
21:28.480–21:30.220
彻底改写科研模式
21:30.220–21:32.320
从前筛选1000万候选分子
21:32.320–21:34.040
要耗费6个月筹备算力
21:34.040–21:35.580
现在一顿午饭的时间
21:35.580–21:36.760
就可以完成筛选
21:36.760–21:39.780
大量行业还有机会打造高速仿真模型
21:39.780–21:40.720
一旦实现
21:40.720–21:43.620
整个实验迭代周期就会被彻底重构
21:43.620–21:45.140
它最看好的方向
21:45.140–21:47.080
就是模型依靠大量实验
21:47.080–21:48.900
实现地规式自我改进
21:48.900–21:50.880
持续提升每一份算力
21:50.880–21:52.300
可以产出的新发现
21:52.300–21:53.900
对话推进到后半段
21:53.900–21:55.460
谈及职业路上的挫折
21:55.460–21:56.900
2014年杰弗蒂恩
21:56.900–21:57.960
杰弗里辛顿
21:57.960–21:59.400
奥里奥尔维尼亚尔斯
21:59.400–22:01.400
联合发布知识蒸馏论文
22:01.400–22:03.340
用大模型充当老师
22:03.340–22:04.860
小模型充当学生
22:04.860–22:06.120
得到体积更小
22:06.120–22:07.000
成本更低
22:07.000–22:08.600
同时效果优异的模型
22:08.600–22:11.000
如今整个行业都在广泛使用
22:11.000–22:13.700
但是这篇论文当年被NIPS聚稿
22:13.700–22:15.000
评审的观点认为
22:15.000–22:16.900
这项工作很难带来重大突破
22:16.900–22:18.060
杰弗迪恩表示
22:18.060–22:19.660
并不责怪评审委员会
22:19.660–22:21.320
对方站在学术视角
22:21.320–22:24.100
评判是否属于理论层面的重大突破
22:24.100–22:26.980
而团队清楚这件事巨大的工程价值
22:26.980–22:29.280
目标是降低模型服务成本
22:29.280–22:30.680
扩大落地场景
22:30.680–22:33.800
他们把论文上传到ARXV预印本平台
22:33.800–22:35.580
行业从业者阅读之后
22:35.580–22:36.640
大量落地使用
22:36.640–22:38.800
Gemini当中的Flash系列模型
22:38.800–22:41.920
就有一部分来自大尺寸Pro模型的蒸馏
22:41.920–22:43.660
在同规格模型当中
22:43.660–22:45.520
基准测试表现十分靠前
22:45.520–22:47.360
这件事带来的启示就是
22:47.360–22:49.040
就算成果遭到拒绝
22:49.040–22:50.280
也不要停下脚步
22:50.280–22:51.820
如果把1999年
22:51.820–22:55.140
刚刚加入只有20人规模谷歌的年轻杰弗迪恩
22:55.140–22:57.080
直接传送到2026年
22:57.080–22:59.340
他会选择大厂前沿实验室
22:59.340–23:01.020
还是选择自主创业
23:01.020–23:02.840
他表示没有标准答案
23:02.840–23:04.236
最核心的判断表现
23:17.036–23:18.616
创业公司风险更高
23:18.616–23:20.196
必须拥有极强的热情
23:20.196–23:22.036
但也可以收获极高的回报
23:22.036–23:23.776
无论选择哪一条道路
23:23.776–23:24.976
都要反问自己
23:24.976–23:27.016
如果项目走到最好的结局
23:27.016–23:28.876
世界会不会切实变好
23:28.876–23:30.436
如果仅仅只是很酷
23:30.436–23:32.396
就不值得投入大量时间
23:32.396–23:34.836
谈及如何寻找优秀的合作者
23:34.836–23:36.876
不仅要寻找专业能力过硬
23:36.876–23:38.196
技能互补的伙伴
23:38.196–23:40.896
也要选择相处起来足够愉快的人
23:40.896–23:43.836
创业路上要共同面对大量棘手难题
23:43.836–23:45.796
彼此的相处体验格外重要
23:45.796–23:49.816
小团队的魅力就是每个人掌握其他人不具备的能力
23:49.816–23:53.016
组合在一起可以完成单人无法实现的成果
23:53.016–23:56.236
要把自己的工程或者科研生涯当成一条工具腰带
23:56.236–23:57.956
持续补充新的工具
23:57.956–24:01.016
你永远预料不到未来会碰到什么样的难题
24:01.016–24:02.436
掌握的工具越多
24:02.436–24:04.816
可以解决的问题边界就越宽广
24:04.816–24:06.736
主持人抛出最后一个问题
24:06.736–24:10.436
他希望新一代创作者把精力投入到哪些方向
24:10.436–24:11.716
杰弗迪恩讲到
24:11.716–24:13.696
值得探索的问题数不胜数
24:13.696–24:16.336
他个人十分看好全新硬件路线
24:16.336–24:18.936
高效推理硬件拥有巨大价值
24:18.936–24:21.976
机器学习算法本身也还有巨大革新空间
24:21.976–24:25.196
比如数据效率远远高于当下的系统
24:25.196–24:27.836
现在大模型18岁阶段接触的数据总量
24:27.836–24:30.596
比人类18岁接触的信息多出1000倍
24:30.596–24:32.676
但是人类在大量任务当中
24:32.676–24:34.816
依旧可以持平甚至优于大模型
24:34.816–24:37.176
我们能不能打造数据效率更高
24:37.176–24:40.516
可以从自身行动当中持续学习的系统
24:40.516–24:43.196
持续学习本身就是极具价值的课题
24:43.196–24:46.176
多agent交互同样充满想象空间
24:46.176–24:47.896
把视角在向外延伸
24:47.896–24:50.396
如何促成人类之间更良性的对话
24:50.396–24:52.736
搭建工具帮助人们理性交流
24:52.736–24:55.276
帮助志趣相投的人建立连接
24:55.276–24:57.436
同样是值得深耕的方向
24:57.436–24:58.536
整场对话听完
24:58.536–25:01.376
不难感受到杰弗迪恩看待行业的独特视角
25:01.376–25:04.016
他不会空谈AGI什么时候到来
25:04.016–25:05.116
而是立足于能耗
25:05.116–25:05.936
数据搬运
25:05.936–25:07.796
延迟这些底层物理约束
25:07.796–25:09.676
向上推导系统设计逻辑
25:09.676–25:10.996
推导创业机会
25:10.996–25:13.556
全行业疯狂内卷模型参数的时候
25:13.556–25:17.156
他提醒大家数据搬运的成本是计算的1000倍
25:17.156–25:20.636
推理硬件专用化是下一轮效率跃升的关键
25:20.636–25:23.696
所有人焦虑通用模型吞噬创业机会
25:23.696–25:27.676
他告诉大家去寻找成功率0%到1%的赛道
25:27.676–25:28.996
挖掘私有数据
25:28.996–25:30.756
垂直专用模型的机会
25:30.756–25:33.116
所有人埋头打磨提示词的时候
25:33.116–25:35.856
他点名未来最稀缺的资源是品位
25:35.856–25:37.796
是筛选问题的判断力
25:37.796–25:39.996
这些认知不是凭空想象
25:39.996–25:42.096
来自几十年系统工程沉淀
25:42.096–25:44.176
来自一次次参金值演算
25:44.176–25:46.976
来自一次次推翻固有认知的思想实验
25:46.976–25:49.376
以上就是整场访谈的核心精华
25:49.376–25:52.436
如果你觉得这些来自一线工程大佬的思考
25:52.436–25:53.236
对你有启发
25:53.236–25:54.336
欢迎点赞
25:54.336–25:57.996
也可以把这期内容分享给身边做AI开发创业的朋友
25:57.996–26:00.236
一起跳出网络上的流量炒作
26:00.236–26:02.636
看见行业更真实的底层逻辑
26:02.636–26:03.836
我们下期再见
0:00.000–0:01.201
zh你有没有想过,
你有没有想过,
0:01.201–0:03.602
zh真正定义AI下一阶段走向的,
真正定义AI下一阶段走向的,
0:03.602–0:07.204
zh未必是那些轰轰烈烈对外举办的大模型发布会。
未必是那些轰轰烈烈对外举办的大模型发布会。
0:07.204–0:10.805
zh而是少数行业元老在创业社群内部的深度对话。
而是少数行业元老在创业社群内部的深度对话。
0:10.805–0:13.893
zh很多足以改变后续行业走向的核心观点,
很多足以改变后续行业走向的核心观点,
0:13.893–0:15.265
zh最先都是诞生在,
最先都是诞生在,
0:15.265–0:16.980
zh这类小规模交流现场,
这类小规模交流现场,
0:16.980–0:18.695
zh没有华丽的宣传包装。
没有华丽的宣传包装。
0:18.695–0:22.125
zh全部是几十年工程实践沉淀下来的硬核思考。
全部是几十年工程实践沉淀下来的硬核思考。
0:22.125–0:22.812
zh前不久,
前不久,
0:22.812–0:28.300
zh谷歌的杰弗迪恩就在YC创业学校完成了一场信息密度极高的圆桌对话。
谷歌的杰弗迪恩就在YC创业学校完成了一场信息密度极高的圆桌对话。
0:28.300–0:31.420
zh整场交流把当下AI行业的现实瓶颈
整场交流把当下AI行业的现实瓶颈
0:31.420–0:32.840
zh硬件底层逻辑
硬件底层逻辑
0:32.840–0:34.280
zhagent发展边界
agent发展边界
0:34.280–0:37.020
zh还有普通创业者能够抓住的现实机遇
还有普通创业者能够抓住的现实机遇
0:37.020–0:38.840
zh全部完整剖析出来
全部完整剖析出来
0:38.840–0:41.200
zh如果你正在接触AI相关项目
如果你正在接触AI相关项目
0:41.200–0:43.340
zh或是想要看懂未来三五年
或是想要看懂未来三五年
0:43.340–0:45.020
zh行业真实的眼睛路线
行业真实的眼睛路线
0:45.020–0:47.280
zh接下来的内容值得仔细看完
接下来的内容值得仔细看完
0:47.280–0:49.180
zh觉得内容对你有启发
觉得内容对你有启发
0:49.180–0:50.320
zh可以点赞支持
可以点赞支持
0:50.320–0:52.240
zh不错过更多硬核行业解读
不错过更多硬核行业解读
0:52.240–0:55.340
zh主持人开场抛出的第一个问题就相当尖锐
主持人开场抛出的第一个问题就相当尖锐
0:55.340–0:58.100
zh直接回溯到一年之前的公开观点
直接回溯到一年之前的公开观点
0:58.100–1:02.460
zh去年5月份杰弗迪恩曾经在AISNOT的活动上提出一个判断
去年5月份杰弗迪恩曾经在AISNOT的活动上提出一个判断
1:02.460–1:04.940
zhAI已经达到初级工程师的水准
AI已经达到初级工程师的水准
1:04.940–1:06.100
zh时隔一整年
时隔一整年
1:06.100–1:07.580
zh行业内外都在观望
行业内外都在观望
1:07.580–1:09.980
zh当初的这番论断到底有没有应验
当初的这番论断到底有没有应验
1:09.980–1:11.160
zh面对这个问题
面对这个问题
1:11.160–1:13.400
zh杰弗迪恩没有选择夸大成果
杰弗迪恩没有选择夸大成果
1:13.400–1:15.100
zh也没有刻意淡化进展
也没有刻意淡化进展
1:15.100–1:17.300
zh他给出了一份非常务实的复盘
他给出了一份非常务实的复盘
1:17.300–1:21.400
zh在Agent的体系配合长周期运行时的编程任务当中
在Agent的体系配合长周期运行时的编程任务当中
1:21.400–1:25.240
zh大模型能力的迭代速度远远超出他此前的预估
大模型能力的迭代速度远远超出他此前的预估
1:25.240–1:27.740
zh放到初级工程师的评判标准之下
放到初级工程师的评判标准之下
1:27.740–1:30.360
zh当初的判断大体上已经得到验证
当初的判断大体上已经得到验证
1:30.360–1:31.780
zh但同时他也坦诚
但同时他也坦诚
1:31.780–1:35.360
zh自己严重低估了复杂任务处理能力的上涨幅度
自己严重低估了复杂任务处理能力的上涨幅度
1:35.360–1:38.520
zh实际提升速度比事前的预判要快得多
实际提升速度比事前的预判要快得多
1:38.520–1:41.580
zh能力的提升并不单单局限在代码编写
能力的提升并不单单局限在代码编写
1:41.580–1:44.200
zh这个单一赛道Agent这套运行范式
这个单一赛道Agent这套运行范式
1:44.200–1:46.980
zh正在其他各式各样的业务场景当中
正在其他各式各样的业务场景当中
1:46.980–1:49.060
zh展现出实实在在的价值
展现出实实在在的价值
1:49.060–1:50.300
zh顺着这个话题
顺着这个话题
1:50.300–1:51.860
zh主持人继续向前追问
主持人继续向前追问
1:51.860–1:53.780
zh把目光投向2027年
把目光投向2027年
1:53.780–1:56.780
zh想要听听属于杰弗迪恩的新一轮大胆预判
想要听听属于杰弗迪恩的新一轮大胆预判
1:56.780–1:58.580
zh他思索之后给出了答案
他思索之后给出了答案
1:58.580–2:01.740
zh核心落在机器学习系统的自我自动化上面
核心落在机器学习系统的自我自动化上面
2:01.740–2:02.680
zh简单来讲
简单来讲
2:02.680–2:06.120
zh就是让AI系统自主开展大批量的实验工作
就是让AI系统自主开展大批量的实验工作
2:06.120–2:09.920
zh把复杂的大问题拆解成若干个更小的子任务
把复杂的大问题拆解成若干个更小的子任务
2:09.920–2:12.140
zh搭建一套闭环的自动实验循环
搭建一套闭环的自动实验循环
2:12.140–2:14.080
zh完成子任务的处理之后
完成子任务的处理之后
2:14.080–2:16.520
zh再把分散的结果重新整合汇总
再把分散的结果重新整合汇总
2:16.520–2:18.960
zh以此完成自身能力的迭代升级
以此完成自身能力的迭代升级
2:18.960–2:22.200
zh这套全自动问题拆解搭配自动实验的思路
这套全自动问题拆解搭配自动实验的思路
2:22.200–2:24.680
zh并不单单局限于机器学习本身
并不单单局限于机器学习本身
2:24.680–2:27.220
zh只要某一个科学或者工程领域
只要某一个科学或者工程领域
2:27.220–2:30.120
zh能够建立起一套可以量化衡量的目标
能够建立起一套可以量化衡量的目标
2:30.120–2:32.040
zh就有机会依靠这套模式
就有机会依靠这套模式
2:32.040–2:33.380
zh拿到巨大的突破
拿到巨大的突破
2:33.380–2:34.280
zh讲到这里
讲到这里
2:34.280–2:37.100
zh主持人抛出一个很有历史氛围感的类比
主持人抛出一个很有历史氛围感的类比
2:37.100–2:38.640
zh2001年的时候
2001年的时候
2:38.640–2:42.040
zh谷歌搜索还完全依靠硬盘完成数据读取
谷歌搜索还完全依靠硬盘完成数据读取
2:42.040–2:44.100
zh杰弗迪恩和长期搭档桑杰
杰弗迪恩和长期搭档桑杰
2:44.100–2:46.980
zh通过餐金值演算完成一轮成本测算
通过餐金值演算完成一轮成本测算
2:46.980–2:48.080
zh得出一个结论
得出一个结论
2:48.080–2:49.800
zh未来某一个时间节点
未来某一个时间节点
2:49.800–2:51.160
zh整套搜索索引
整套搜索索引
2:51.160–2:53.780
zh完全可以全部放进机器的内存之中
完全可以全部放进机器的内存之中
2:53.780–2:54.820
zh基于这个判断
基于这个判断
2:54.820–2:58.720
zh两个人短短几天就迭代出全新版本的谷歌搜索
两个人短短几天就迭代出全新版本的谷歌搜索
2:58.720–3:00.780
zh不再依赖硬盘读取数据
不再依赖硬盘读取数据
3:00.780–3:02.560
zh全部运行在内存当中
全部运行在内存当中
3:02.560–3:06.780
zh这也成为谷歌搜索体验实现跨越时提升的关键转折点
这也成为谷歌搜索体验实现跨越时提升的关键转折点
3:06.780–3:09.060
zh历史总是会出现相似的韵律
历史总是会出现相似的韵律
3:09.060–3:10.760
zh那么放到2026年
那么放到2026年
3:10.760–3:12.260
zh属于当下这个时代
属于当下这个时代
3:12.260–3:15.500
zh整套系统全部搬进内存的标志性时刻又会是什么
整套系统全部搬进内存的标志性时刻又会是什么
3:15.500–3:17.340
zh现场6000名创业者
现场6000名创业者
3:17.340–3:20.380
zh又应当盯住哪些信号去设计自己的产品
又应当盯住哪些信号去设计自己的产品
3:20.380–3:23.460
zh杰弗迪恩的回答把落脚点放在硬件层面
杰弗迪恩的回答把落脚点放在硬件层面
3:23.460–3:26.980
zh它坦言当下的情况和当年谷歌搜索的故事
它坦言当下的情况和当年谷歌搜索的故事
3:26.980–3:28.320
zh并不能完全等同
并不能完全等同
3:28.320–3:30.240
zh但有一个趋势是确定的
但有一个趋势是确定的
3:30.240–3:33.220
zh高性能同时兼顾低能耗的推理硬件系统
高性能同时兼顾低能耗的推理硬件系统
3:33.220–3:34.860
zh会迎来大规模普及
会迎来大规模普及
3:34.860–3:36.820
zh整个行业已经形成共识
整个行业已经形成共识
3:36.820–3:39.340
zh推理环节才是让agent大规模面
推理环节才是让agent大规模面
3:39.340–3:41.720
zh向普通用户落地的核心基石
向普通用户落地的核心基石
3:41.720–3:45.100
zh而延迟又是决定用户体验好坏的关键指标
而延迟又是决定用户体验好坏的关键指标
3:45.100–3:46.700
zh硬件走向专业化
硬件走向专业化
3:46.700–3:49.340
zh是整套系统相比通用GPU TPU设备
是整套系统相比通用GPU TPU设备
3:49.340–3:51.240
zh实现更低功耗
实现更低功耗
3:51.240–3:53.460
zh更低延迟最重要的实现路径
更低延迟最重要的实现路径
3:53.460–3:57.000
zh我们所有人都已经习惯等待模型返回输出结果
我们所有人都已经习惯等待模型返回输出结果
3:57.000–3:59.800
zh但等待本身并不是良好的用户体验
但等待本身并不是良好的用户体验
3:59.800–4:01.360
zh速度才是一切的王道
速度才是一切的王道
4:01.360–4:03.700
zh主持人继续顺着这个方向推进
主持人继续顺着这个方向推进
4:03.700–4:06.120
zh如果延迟可以直接降低50倍
如果延迟可以直接降低50倍
4:06.120–4:08.700
zh整个行业会发生什么样的变化
整个行业会发生什么样的变化
4:08.700–4:11.240
zh紧接着又抛出另外一个值得深思的问题
紧接着又抛出另外一个值得深思的问题
4:11.240–4:12.220
zh时至今日
时至今日
4:12.220–4:15.100
zh行业当中还有哪些被大家全盘接受
行业当中还有哪些被大家全盘接受
4:15.100–4:18.320
zh但实际上已经不再成立的固有AI假设
但实际上已经不再成立的固有AI假设
4:18.320–4:19.920
zh杰弗迪恩给出的回答
杰弗迪恩给出的回答
4:19.920–4:21.660
zh会刷新不少人的固有认知
会刷新不少人的固有认知
4:21.660–4:23.200
zh绝大多数从业者
绝大多数从业者
4:23.200–4:24.800
zh还没有真正接纳一件事
还没有真正接纳一件事
4:24.800–4:27.460
zh依托能力足够强的底层基座模型
依托能力足够强的底层基座模型
4:27.460–4:30.340
zhAgent并不只能运行短短一两个小时
Agent并不只能运行短短一两个小时
4:30.340–4:32.500
zh连续运转几天甚至几周
连续运转几天甚至几周
4:32.500–4:34.760
zh去完成复杂度极高的任务
去完成复杂度极高的任务
4:34.760–4:37.160
zh这件事已经具备现实可行性
这件事已经具备现实可行性
4:37.160–4:38.800
zh现在小部分从业者
现在小部分从业者
4:38.800–4:40.040
zh已经看到苗头
已经看到苗头
4:40.040–4:41.300
zh可绝大多数人
可绝大多数人
4:41.300–4:43.180
zh并没有真正把这个可能性
并没有真正把这个可能性
4:43.180–4:45.980
zh内化到自己的产品设计逻辑当中
内化到自己的产品设计逻辑当中
4:45.980–4:48.720
zh而这件事未来会释放出巨大的影响力
而这件事未来会释放出巨大的影响力
4:48.720–4:51.560
zh很多人会好奇到底什么样的业务场景
很多人会好奇到底什么样的业务场景
4:51.560–4:54.180
zh需要Agent连续运航数周的时间
需要Agent连续运航数周的时间
4:54.180–4:56.540
zh杰弗迪恩举了一个很具象的案例
杰弗迪恩举了一个很具象的案例
4:56.540–5:00.680
zh我们可以交给Agent一项完整的软件版本重构工作
我们可以交给Agent一项完整的软件版本重构工作
5:00.680–5:04.680
zh把一整套软件完整迁移到另外一门编程语言
把一整套软件完整迁移到另外一门编程语言
5:04.680–5:07.680
zh重构之后的版本可以实现安全性的提升
重构之后的版本可以实现安全性的提升
5:07.680–5:09.400
zh或是运行性能的优化
或是运行性能的优化
5:09.400–5:12.560
zhAI完全可以持续推进整套复杂工程
AI完全可以持续推进整套复杂工程
5:12.560–5:14.400
zh把这项工作落地完成
把这项工作落地完成
5:14.400–5:17.360
zh话题就此切换到TPU诞生的过往
话题就此切换到TPU诞生的过往
5:17.360–5:20.220
zh杰弗迪恩在行业里面广为流传的习惯
杰弗迪恩在行业里面广为流传的习惯
5:20.220–5:21.840
zh就是餐巾纸数学
就是餐巾纸数学
5:21.840–5:25.780
zh也就是在餐巾纸上快速完成数量级层面的粗略估算
也就是在餐巾纸上快速完成数量级层面的粗略估算
5:25.780–5:27.920
zh时间回到2013年前后
时间回到2013年前后
5:27.920–5:30.540
zh谷歌语音识别的效果迎来实质性的飞跃
谷歌语音识别的效果迎来实质性的飞跃
5:30.540–5:31.940
zh他做过一笔测算
他做过一笔测算
5:31.940–5:34.000
zh如果每一位谷歌手机用户
如果每一位谷歌手机用户
5:34.000–5:36.900
zh每天仅仅使用三分钟的语音识别功能
每天仅仅使用三分钟的语音识别功能
5:36.900–5:40.160
zh谷歌整体的服务器集群规模就需要直接翻倍
谷歌整体的服务器集群规模就需要直接翻倍
5:40.160–5:43.360
zh对应的成本会膨胀到完全无法接受的地步
对应的成本会膨胀到完全无法接受的地步
5:43.360–5:45.180
zh为了解决这个现实难题
为了解决这个现实难题
5:45.180–5:47.180
zh团队决定自研专属芯片
团队决定自研专属芯片
5:47.180–5:49.020
zh这也就是TPU的起源
这也就是TPU的起源
5:49.020–5:49.880
zh他回忆
他回忆
5:49.880–5:52.440
zh那时候深度学习驱动的语音系统
那时候深度学习驱动的语音系统
5:52.440–5:53.800
zh对比旧有方案
对比旧有方案
5:53.800–5:55.840
zh算力开销高出一大截
算力开销高出一大截
5:55.840–5:57.960
zh但是错误率直接减半
但是错误率直接减半
5:57.960–6:00.120
zh短短几个月时间就拿到过去
短短几个月时间就拿到过去
6:00.120–6:02.960
zh20年语音识别领域积累下来的全部进步
20年语音识别领域积累下来的全部进步
6:02.960–6:05.780
zh初代TPU没有办法运行Chrome浏览器
初代TPU没有办法运行Chrome浏览器
6:05.780–6:07.840
zh也跑不了Word这类通用软件
也跑不了Word这类通用软件
6:07.840–6:10.020
zh但是在机器学习推理场景当中
但是在机器学习推理场景当中
6:10.020–6:11.300
zh拥有极强的针对性
拥有极强的针对性
6:11.300–6:13.260
zh最终落地的初代芯片
最终落地的初代芯片
6:13.260–6:15.080
zh对比CPU和GPU
对比CPU和GPU
6:15.080–6:17.520
zh能效可以提升30到80倍
能效可以提升30到80倍
6:17.520–6:19.600
zh延迟下降20到30倍
延迟下降20到30倍
6:19.600–6:21.880
zh打下了非常扎实的技术底子
打下了非常扎实的技术底子
6:21.880–6:24.820
zh后续TPU才一步步迭代成如今的模样
后续TPU才一步步迭代成如今的模样
6:24.820–6:28.200
zh有意思的地方在于团队研发TPU的那个阶段
有意思的地方在于团队研发TPU的那个阶段
6:28.200–6:30.160
zhTransformer架构还没有问世
Transformer架构还没有问世
6:30.160–6:34.720
zh没有人能够预料到后续TPU会成为整个AI产业的基石硬件
没有人能够预料到后续TPU会成为整个AI产业的基石硬件
6:34.720–6:36.040
zh也正是因为这样
也正是因为这样
6:36.040–6:40.560
zh当时团队的设计思路是打造一套通用线性怠数运算系统
当时团队的设计思路是打造一套通用线性怠数运算系统
6:40.560–6:44.320
zh而不是死死绑定某一套特定算法做极致专用化
而不是死死绑定某一套特定算法做极致专用化
6:44.320–6:47.620
zh机器学习算法永远处在持续演化的进程当中
机器学习算法永远处在持续演化的进程当中
6:47.620–6:49.220
zh硬件不能过度定制
硬件不能过度定制
6:49.220–6:51.480
zh但是又要保留足够的专用属性
但是又要保留足够的专用属性
6:51.480–6:53.300
zh以此拿到巨大的性能收益
以此拿到巨大的性能收益
6:53.300–6:55.400
zh比如做大规格乘法运算单元
比如做大规格乘法运算单元
6:55.400–6:56.700
zh配置高速内存
配置高速内存
6:56.700–6:58.180
zh搭建高速互联通路
搭建高速互联通路
6:58.180–7:01.980
zh后续几代TPU更是优化多芯片协同工作的能力
后续几代TPU更是优化多芯片协同工作的能力
7:01.980–7:05.380
zh让大量芯片可以联合处理同一个复杂任务
让大量芯片可以联合处理同一个复杂任务
7:05.380–7:06.480
zh主持人接着提问
主持人接着提问
7:06.480–7:07.480
zh放到今天
放到今天
7:07.480–7:10.160
zh创业者又该做怎样的餐巾纸数学
创业者又该做怎样的餐巾纸数学
7:10.160–7:12.720
zh能不能依靠简单的数量级估算
能不能依靠简单的数量级估算
7:12.720–7:16.240
zh挖掘出下一代如同TPO一般重量级的创新
挖掘出下一代如同TPO一般重量级的创新
7:16.240–7:17.420
zh杰弗蒂恩表示
杰弗蒂恩表示
7:17.420–7:19.480
zh这件事没有统一标准答案
这件事没有统一标准答案
7:19.480–7:21.880
zh但是底层思考逻辑是相通的
但是底层思考逻辑是相通的
7:21.880–7:24.800
zh首先找准自己所在赛道真正的瓶颈
首先找准自己所在赛道真正的瓶颈
7:24.800–7:26.120
zh再去反问自己
再去反问自己
7:26.120–7:29.920
zh是否存在一套和当下主流方案完全不一样的解法
是否存在一套和当下主流方案完全不一样的解法
7:29.920–7:33.440
zh能不能把核心指标抬升一个甚至两个数量级
能不能把核心指标抬升一个甚至两个数量级
7:33.440–7:36.980
zh不要被市面上已经成熟的实现方案束缚住思路
不要被市面上已经成熟的实现方案束缚住思路
7:36.980–7:38.940
zh回归第一性原理去思考
回归第一性原理去思考
7:38.940–7:41.040
zh如果从零开始解决这个问题
如果从零开始解决这个问题
7:41.040–7:42.860
zh自己会选择什么样的路径
自己会选择什么样的路径
7:42.860–7:45.460
zh往往就能够挖掘出别人看不见的机会
往往就能够挖掘出别人看不见的机会
7:45.460–7:47.060
zh随后主持人问到一个
随后主持人问到一个
7:47.060–7:49.140
zh只有内行才会深究的话题
只有内行才会深究的话题
7:49.140–7:52.600
zh多年以前杰弗迪恩写过一份流传极广的清单
多年以前杰弗迪恩写过一份流传极广的清单
7:52.600–7:56.160
zh名字叫做每个工程师都应该知道的延迟数字
名字叫做每个工程师都应该知道的延迟数字
7:56.160–7:58.560
zh里面记录缓存未命中的耗石
里面记录缓存未命中的耗石
7:58.560–8:00.000
zh磁盘寻道耗石
磁盘寻道耗石
8:14.280–8:17.660
zh杰弗迪恩列举出一系列至关重要的硬件数字
杰弗迪恩列举出一系列至关重要的硬件数字
8:17.660–8:20.600
zh储存到加速器片上内存之间的带宽
储存到加速器片上内存之间的带宽
8:20.600–8:22.880
zh通往乘法运算单元的带宽
通往乘法运算单元的带宽
8:22.880–8:25.700
zh完成一次乘法运算需要消耗的能量
完成一次乘法运算需要消耗的能量
8:25.700–8:27.980
zh芯片与芯片之间的互联带宽
芯片与芯片之间的互联带宽
8:27.980–8:31.220
zh在该带宽条件之下可以联动多少颗芯片
在该带宽条件之下可以联动多少颗芯片
8:31.220–8:35.240
zh还有从500颗芯片扩展到1万颗芯片的规模过程当中
还有从500颗芯片扩展到1万颗芯片的规模过程当中
8:35.240–8:37.980
zh网络带宽会出现多大程度的衰减
网络带宽会出现多大程度的衰减
8:37.980–8:42.360
zh这些底层数字会实实在在约束上层业务问题的解法
这些底层数字会实实在在约束上层业务问题的解法
8:42.360–8:46.440
zh紧接着他抛出一个足以改变很多人AI系统设计思路的数据
紧接着他抛出一个足以改变很多人AI系统设计思路的数据
8:46.440–8:49.940
zh完成一次计算消耗的能量大概在EP焦2级别
完成一次计算消耗的能量大概在EP焦2级别
8:49.940–8:51.800
zh但是完成一次数据搬运
但是完成一次数据搬运
8:51.800–8:52.980
zh一次IO操作
一次IO操作
8:52.980–8:55.300
zh消耗的能量是前者的1000倍
消耗的能量是前者的1000倍
8:55.300–8:59.780
zh就算只是把数据从加速器的高带宽内存搬运到处理器内部
就算只是把数据从加速器的高带宽内存搬运到处理器内部
8:59.780–9:00.860
zh参与运算
参与运算
9:00.860–9:03.160
zh能量开销同样会急剧拉高
能量开销同样会急剧拉高
9:03.160–9:07.600
zh搬数据的代价远远高于做计算这条物理层面的硬约数
搬数据的代价远远高于做计算这条物理层面的硬约数
9:07.600–9:10.540
zh塑造了机器学习领域大量的工程选择
塑造了机器学习领域大量的工程选择
9:10.540–9:13.160
zh如果不存在如此悬殊的能耗差距
如果不存在如此悬殊的能耗差距
9:13.160–9:15.600
zh我们就不需要对数据做批量处理
我们就不需要对数据做批量处理
9:15.600–9:17.480
zh可现实条件摆在眼前
可现实条件摆在眼前
9:17.480–9:21.620
zh工程师只能把大量样本或者token攒成批次统一处理
工程师只能把大量样本或者token攒成批次统一处理
9:21.620–9:24.680
zh以此贪薄数据搬运带来的巨大能耗惩罚
以此贪薄数据搬运带来的巨大能耗惩罚
9:24.680–9:26.160
zh把1000倍的开销
把1000倍的开销
9:26.160–9:28.380
zh稀释为1000除以批次规模
稀释为1000除以批次规模
9:28.380–9:31.380
zh但如果我们追求极低延迟的推理表现
但如果我们追求极低延迟的推理表现
9:31.380–9:34.100
zh批量处理这套逻辑就会变成阻碍
批量处理这套逻辑就会变成阻碍
9:34.100–9:35.880
zh底层硬件的能量约束
底层硬件的能量约束
9:35.880–9:39.180
zh会自上而下影响整套AI系统的每一层设计
会自上而下影响整套AI系统的每一层设计
9:39.180–9:40.460
zh主持人继续追问
主持人继续追问
9:40.460–9:43.960
zh那我们有没有机会实现单条数据的处理模式
那我们有没有机会实现单条数据的处理模式
9:43.960–9:47.540
zh杰弗迪恩表示自己现阶段思考更多的是推理测的问题
杰弗迪恩表示自己现阶段思考更多的是推理测的问题
9:47.540–9:50.760
zh推理业务天然对低延迟有着强烈诉求
推理业务天然对低延迟有着强烈诉求
9:50.760–9:53.700
zh训练环节对此的要求反而没有那么严苛
训练环节对此的要求反而没有那么严苛
9:53.700–9:54.800
zh在他看来
在他看来
9:54.800–9:56.600
zh推理硬件的专用化程度
推理硬件的专用化程度
9:56.600–9:58.580
zh如今远远还没有抵达上线
如今远远还没有抵达上线
9:58.580–9:59.920
zh核心优化方向
核心优化方向
9:59.920–10:02.760
zh一方面是尽可能压缩数据搬运的频次
一方面是尽可能压缩数据搬运的频次
10:02.760–10:05.220
zh另一方面去探索极低精度运算
另一方面去探索极低精度运算
10:05.220–10:08.400
zh不需要硬件去兼容五花八门的精度规格
不需要硬件去兼容五花八门的精度规格
10:08.400–10:10.360
zh把业务真正需要的精度
把业务真正需要的精度
10:10.360–10:12.440
zh直接固化到硬件设计当中
直接固化到硬件设计当中
10:12.440–10:14.520
zh聊完硬件层面的种种约束
聊完硬件层面的种种约束
10:14.520–10:16.420
zh对话把视角向上拉高
对话把视角向上拉高
10:16.420–10:18.460
zh过去大家谈及AI进步
过去大家谈及AI进步
10:18.460–10:20.760
zh惯性思维就是模型规模更大
惯性思维就是模型规模更大
10:20.760–10:22.240
zh训练数据更多
训练数据更多
10:22.240–10:23.520
zh参数体量上涨
参数体量上涨
10:23.520–10:24.800
zh训练时间拉长
训练时间拉长
10:24.800–10:25.960
zh但是最近几年
但是最近几年
10:25.960–10:27.400
zh真正拉开差距的
真正拉开差距的
10:27.400–10:28.820
zh不再只有模型本体
不再只有模型本体
10:28.820–10:31.100
zh模型外围的整套配套体系
模型外围的整套配套体系
10:31.100–10:32.800
zh价值正在持续走高
价值正在持续走高
10:32.800–10:35.560
zh不单单要看参数规模和训练数据集
不单单要看参数规模和训练数据集
10:35.560–10:36.480
zh检索工具
检索工具
10:36.480–10:37.400
zh记忆模块
记忆模块
10:37.400–10:38.040
enAgent
Agent
10:38.040–10:38.760
zh工具链
工具链
10:38.760–10:41.040
zh全部都是不可或缺的组成部分
全部都是不可或缺的组成部分
10:41.040–10:42.880
zh杰弗迪恩认同这样的看法
杰弗迪恩认同这样的看法
10:42.880–10:45.320
zh模型只是整套解决方案当中的
模型只是整套解决方案当中的
10:45.320–10:46.320
zh其中一块拼图
其中一块拼图
10:46.320–10:47.540
zh我们真正的目标
我们真正的目标
10:47.540–10:49.140
zh是搭建一整套
是搭建一整套
10:49.140–10:52.020
zh可以解决复杂现实问题的完整系统
可以解决复杂现实问题的完整系统
10:52.020–10:53.900
zh这就意味着模型要学会
这就意味着模型要学会
10:53.900–10:55.560
zh调用各式各样的外部工具
调用各式各样的外部工具
10:55.560–10:57.540
zh检索外部相关信息
检索外部相关信息
10:57.540–10:59.100
zh留存过往处理其他任务
留存过往处理其他任务
10:59.100–11:00.480
zh沉淀下来的历史信息
沉淀下来的历史信息
11:00.480–11:01.900
zh并且把这些信息
并且把这些信息
11:01.900–11:03.780
zh带入当下的上下文当中
带入当下的上下文当中
11:03.780–11:05.660
zh这里有一个很关键的区别
这里有一个很关键的区别
11:05.660–11:08.080
zh训练数据就像是一锅大杂烩
训练数据就像是一锅大杂烩
11:08.080–11:10.360
zh数万亿token混杂在一起
数万亿token混杂在一起
11:10.360–11:13.280
zh压缩近几千亿的模型参数内部
压缩近几千亿的模型参数内部
11:13.280–11:13.920
zh与之对比
与之对比
11:13.920–11:17.060
zh模型在处理具体任务时拿到的上下文信息
模型在处理具体任务时拿到的上下文信息
11:17.060–11:18.440
zh逻辑会清晰很多
逻辑会清晰很多
11:18.440–11:20.900
zh同时模型还要识别可用的工具
同时模型还要识别可用的工具
11:20.900–11:23.320
zh判断哪些工具适配当前步骤
判断哪些工具适配当前步骤
11:23.320–11:26.280
zh如何把大任务拆解成一连串工具调用
如何把大任务拆解成一连串工具调用
11:26.280–11:28.920
zh甚至尝试多条不同的解题路径
甚至尝试多条不同的解题路径
11:28.920–11:30.980
zh再评估各个方案的实际效果
再评估各个方案的实际效果
11:30.980–11:34.920
zh这就是复杂agent以及dooragent编排的核心能力
这就是复杂agent以及dooragent编排的核心能力
11:34.920–11:37.440
zh上下文工程这个方向很有意思的一点
上下文工程这个方向很有意思的一点
11:37.440–11:39.720
zh使它的准入门槛相对更低
使它的准入门槛相对更低
11:39.720–11:41.840
zh训练大模型需要海量算力
训练大模型需要海量算力
11:41.840–11:43.340
zh海量数据资源
海量数据资源
11:43.340–11:44.900
zh普通团队很难触碰
普通团队很难触碰
11:44.900–11:46.460
zh但是做上下文工程
但是做上下文工程
11:46.460–11:49.340
zh只需要调用Gemini这类模型的API接口
只需要调用Gemini这类模型的API接口
11:49.340–11:51.680
zh再搭配自己搭建的检索逻辑
再搭配自己搭建的检索逻辑
11:51.680–11:53.040
zh工具调用流程
工具调用流程
11:53.040–11:54.160
zh工作流编排
工作流编排
11:54.160–11:55.540
zh就可以动手实践
就可以动手实践
11:55.540–11:57.960
zh想要把上下文工程做到足够强
想要把上下文工程做到足够强
11:57.960–12:01.060
zh杰弗迪恩给出一套非常务实的实操思路
杰弗迪恩给出一套非常务实的实操思路
12:01.060–12:03.360
zh就是实实在在拿模型和工具链
就是实实在在拿模型和工具链
12:03.360–12:04.580
zh去处理真实业务
去处理真实业务
12:04.580–12:07.320
zh在实操当中观察模型的出错点位
在实操当中观察模型的出错点位
12:07.320–12:09.660
zh很多时候想要提升模型表现
很多时候想要提升模型表现
12:09.660–12:12.180
zh并不需要去改动底层模型权重
并不需要去改动底层模型权重
12:12.180–12:14.360
zh而是提供质量更高的指引
而是提供质量更高的指引
12:14.360–12:16.400
zh编写更完善的技能描述
编写更完善的技能描述
12:16.400–12:18.440
zh告诉模型面对某一类问题
告诉模型面对某一类问题
12:18.440–12:19.940
zh应当如何调用工具
应当如何调用工具
12:19.940–12:21.280
zh反复迭代之后
反复迭代之后
12:21.280–12:22.780
zh你就会慢慢摸清楚
你就会慢慢摸清楚
12:22.780–12:24.480
zh模型还缺少哪些信息
模型还缺少哪些信息
12:24.480–12:27.400
zh由此进入自我迭代优化的正向循环
由此进入自我迭代优化的正向循环
12:27.400–12:29.400
zh他分享了一段亲身经历
他分享了一段亲身经历
12:29.400–12:30.300
zh几周之前
几周之前
12:30.300–12:33.240
zh他和桑杰一起做底层代码库的性能调优
他和桑杰一起做底层代码库的性能调优
12:33.240–12:36.560
zh团队内部有自研的微型基准测试库
团队内部有自研的微型基准测试库
12:36.560–12:38.640
zh可以统计各类操作的耗时
可以统计各类操作的耗时
12:38.640–12:42.280
zh这套数据结构被谷歌内部几百万个进程调用
这套数据结构被谷歌内部几百万个进程调用
12:42.280–12:44.380
zh性能表现必须得到保障
性能表现必须得到保障
12:44.380–12:46.020
zh在没有Agent的时代
在没有Agent的时代
12:46.020–12:48.500
zh完整流程是先测试现有性能
完整流程是先测试现有性能
12:48.500–12:49.480
zh修改代码
修改代码
12:49.480–12:51.120
zh重新跑基准测试
重新跑基准测试
12:51.120–12:52.600
zh观察性能变化
观察性能变化
12:52.600–12:54.560
zh还要执行更大范围的测试
还要执行更大范围的测试
12:54.560–12:56.800
zh检查缓存占用等一系列指标
检查缓存占用等一系列指标
12:56.800–12:59.060
zh后来他们专门编写对应的技能
后来他们专门编写对应的技能
12:59.060–13:01.860
zh教会Agent完整复刻整套工作流
教会Agent完整复刻整套工作流
13:01.860–13:03.260
zh执行基准测试
执行基准测试
13:03.260–13:04.460
zh修改代码
修改代码
13:04.460–13:05.900
zh重新叫验性能指标
重新叫验性能指标
13:05.900–13:07.480
zh《循环迭代优化》
《循环迭代优化》
13:07.480–13:10.500
zh这套方案在部分问题上拿到相当不错的效果
这套方案在部分问题上拿到相当不错的效果
13:10.500–13:13.320
zh本质上就是把人类工程师的工作流程
本质上就是把人类工程师的工作流程
13:13.320–13:16.080
zh转化成模型能够读懂执行的指令
转化成模型能够读懂执行的指令
13:16.080–13:17.100
zh几个月之前
几个月之前
13:17.100–13:20.440
zh他和桑杰共同发布过一份30页左右的公开文档
他和桑杰共同发布过一份30页左右的公开文档
13:20.440–13:22.980
zh名字叫做Performance Heightened TS
名字叫做Performance Heightened TS
13:22.980–13:25.480
zh记录大量性能优化的实操技巧
记录大量性能优化的实操技巧
13:25.480–13:29.060
zh已经有不少开发者把这份文档做总结提炼之后
已经有不少开发者把这份文档做总结提炼之后
13:29.060–13:30.520
zh投入给不同的大模型
投入给不同的大模型
13:30.520–13:32.480
zh最终测试结果显示
最终测试结果显示
13:32.480–13:35.760
zh模型分析代码性能问题的能力得到明显提升
模型分析代码性能问题的能力得到明显提升
13:35.760–13:38.640
zh而且这份资料对所有人完全公开
而且这份资料对所有人完全公开
13:38.640–13:39.780
zh谈及agent
谈及agent
13:39.780–13:42.240
zh有一个所有人都会碰到的现实痛点
有一个所有人都会碰到的现实痛点
13:42.240–13:45.940
zh不少agent在前十几步执行都十分顺畅
不少agent在前十几步执行都十分顺畅
13:45.940–13:47.400
zh等到推进到第三十步
等到推进到第三十步
13:47.400–13:48.120
zh四十步
四十步
13:48.120–13:49.360
zh甚至五十步之后
甚至五十步之后
13:49.360–13:51.040
zh就会开始逻辑跑偏
就会开始逻辑跑偏
13:51.040–13:52.420
zh杰弗迪恩坦言
杰弗迪恩坦言
13:52.420–13:54.980
zh这就是当下技术最大的约束条件
这就是当下技术最大的约束条件
13:54.980–13:58.360
zh一部分原因是模型处理训练机之外的任务
一部分原因是模型处理训练机之外的任务
13:58.360–14:00.120
zh一旦脱离熟悉的任务分布
一旦脱离熟悉的任务分布
14:00.120–14:01.420
zh效果就会下滑
效果就会下滑
14:01.420–14:03.620
zh偏离熟悉的边界越远
偏离熟悉的边界越远
14:03.620–14:04.760
zh失效概率就越高
失效概率就越高
14:04.760–14:05.780
zh针对该问题
针对该问题
14:05.780–14:07.880
zh有两条可行的解决路径
有两条可行的解决路径
14:07.880–14:08.560
zh第一种
第一种
14:08.560–14:10.920
zh编写对应的技能和提示之意
编写对应的技能和提示之意
14:10.920–14:13.240
zh尽量让模型维持在自己熟悉
尽量让模型维持在自己熟悉
14:13.240–14:15.060
zh成功率更高的执行路径
成功率更高的执行路径
14:15.060–14:15.840
zh第二种
第二种
14:15.840–14:17.400
zh采用多agent的架构
采用多agent的架构
14:17.400–14:18.880
zh让多个独立agent
让多个独立agent
14:18.880–14:20.780
zh并行尝试不同解题思路
并行尝试不同解题思路
14:20.780–14:23.100
zh再交由另外一个模型或者agent
再交由另外一个模型或者agent
14:23.100–14:24.920
zh去评判各个路径的可行性
去评判各个路径的可行性
14:24.920–14:27.120
zh本质就是对全部可行解法
本质就是对全部可行解法
14:27.120–14:28.080
zh做搜索筛选
做搜索筛选
14:28.080–14:29.640
zh保留有希望的分支
保留有希望的分支
14:29.640–14:31.540
zh丢弃无效跑偏的分支
丢弃无效跑偏的分支
14:31.540–14:32.780
zh依靠推理计算
依靠推理计算
14:32.780–14:34.460
zh去便利解决方案空间
去便利解决方案空间
14:34.460–14:36.880
zh以此提升常链路Agent的定性
以此提升常链路Agent的定性
14:36.880–14:40.000
zh在谷歌内部就搭建了一整套调度框架
在谷歌内部就搭建了一整套调度框架
14:40.000–14:41.220
zh以及海量技能库
以及海量技能库
14:41.220–14:43.340
zhAgent可以调用内部编码工具
Agent可以调用内部编码工具
14:43.340–14:44.660
zh执行代码审查
执行代码审查
14:44.660–14:45.980
zh完成性能测试
完成性能测试
14:45.980–14:47.300
zh读取日志文件
读取日志文件
14:47.300–14:49.040
zh只要技能定义足够合理
只要技能定义足够合理
14:49.040–14:51.680
zhAgent的实用价值就会被大幅释放
Agent的实用价值就会被大幅释放
14:51.680–14:52.480
zh紧接着
紧接着
14:52.480–14:55.900
zh对话落到在场每一位创业者都无比关心的命题
对话落到在场每一位创业者都无比关心的命题
14:55.900–14:58.960
zh谷歌能够做到从处理器到上层产品
谷歌能够做到从处理器到上层产品
14:58.960–15:00.480
zh全链路协同设计
全链路协同设计
15:00.480–15:03.340
zh那对于两三个人组成的小型创业团队
那对于两三个人组成的小型创业团队
15:03.340–15:05.600
zh还剩下哪些可以抓住的机会
还剩下哪些可以抓住的机会
15:05.600–15:06.980
zh杰弗迪恩讲到
杰弗迪恩讲到
15:06.980–15:09.320
zh谷歌以及通用大模型团队
谷歌以及通用大模型团队
15:09.320–15:11.880
zh都在竭尽全力打造通用性极强
都在竭尽全力打造通用性极强
15:11.880–15:14.480
zh几乎可以处理各类任务的基座模型
几乎可以处理各类任务的基座模型
15:14.480–15:17.020
zh但恰恰是追求通用这个前提
但恰恰是追求通用这个前提
15:17.020–15:19.980
zh导致它很难针对某一个垂直细分领域
导致它很难针对某一个垂直细分领域
15:19.980–15:21.060
zh做深度打磨
做深度打磨
15:21.060–15:22.280
zh如果创业团队
如果创业团队
15:22.280–15:25.640
zh可以针对特定行业打磨优质的产品交互界面
可以针对特定行业打磨优质的产品交互界面
15:25.640–15:27.460
zh配套专属的技能体系
配套专属的技能体系
15:27.460–15:29.820
zh甚至是垂直微调的专用模型
甚至是垂直微调的专用模型
15:29.820–15:32.600
zh完全有机会建立起明显的竞争优势
完全有机会建立起明显的竞争优势
15:32.600–15:34.120
zh打造出体验流畅
打造出体验流畅
15:34.120–15:36.060
zh准确率出色的垂直产品
准确率出色的垂直产品
15:36.060–15:37.800
zh不过他也做出提醒
不过他也做出提醒
15:37.800–15:40.400
zh通用模型的能力还在持续变强
通用模型的能力还在持续变强
15:40.400–15:42.340
zh覆盖的场景不断扩张
覆盖的场景不断扩张
15:42.340–15:44.200
zh创业者必须做好判断
创业者必须做好判断
15:44.200–15:45.520
zh自己选择的赛道
自己选择的赛道
15:45.520–15:47.360
zh是未来半年到12个月
是未来半年到12个月
15:47.360–15:48.880
zh就会被通用模型覆盖
就会被通用模型覆盖
15:48.880–15:50.220
zh还是两三年之内
还是两三年之内
15:50.220–15:51.820
zh通用模型都难以企及
通用模型都难以企及
15:51.820–15:54.220
zh以此判断赛道的抗风险能力
以此判断赛道的抗风险能力
15:54.220–15:56.240
zh那创业者应当如何筛选
那创业者应当如何筛选
15:56.240–15:57.620
zh值得投入的方向
值得投入的方向
15:57.620–15:59.400
zh他给出的第一条建议朴素
他给出的第一条建议朴素
15:59.400–16:00.000
zh但是分类
但是分类
16:15.000–16:16.640
zh往往代表存在机会
往往代表存在机会
16:16.640–16:18.460
zh如果已经可以完成一部分
如果已经可以完成一部分
16:18.460–16:20.040
zh只是效果不够完美
只是效果不够完美
16:20.040–16:21.380
zh反而要提高警惕
反而要提高警惕
16:21.380–16:23.760
zh这代表能力的种子已经存在
这代表能力的种子已经存在
16:23.760–16:25.560
zh只需要补充训练数据
只需要补充训练数据
16:25.560–16:26.980
zh扩大模型规模
扩大模型规模
16:26.980–16:28.640
zh能力就会快速迭代
能力就会快速迭代
16:28.640–16:31.160
zh所以要优先寻找当下通用模型
所以要优先寻找当下通用模型
16:31.160–16:33.980
zh成功率只有0%或者1%的问题
成功率只有0%或者1%的问题
16:33.980–16:36.220
zh而不是20%左右的赛道
而不是20%左右的赛道
16:36.220–16:37.280
zh这类机会
这类机会
16:37.280–16:40.300
zh一部分属于训练分布之外的全新任务
一部分属于训练分布之外的全新任务
16:40.300–16:41.300
zh另一类场景
另一类场景
16:41.300–16:43.300
zh是产品可以拿到通用模型
是产品可以拿到通用模型
16:43.300–16:44.900
zh接触不到的私有数据
接触不到的私有数据
16:45.000–16:47.100
zh比如处理用户个人信息的产品
比如处理用户个人信息的产品
16:47.100–16:50.160
zh通用模型本身无法获取用户私人资料
通用模型本身无法获取用户私人资料
16:50.160–16:51.720
zh这就创造天然壁垒
这就创造天然壁垒
16:51.720–16:52.960
zh还有一类机会
还有一类机会
16:52.960–16:54.320
zh针对高难度问题
针对高难度问题
16:54.320–16:57.020
zh以可控成本训练垂直专用模型
以可控成本训练垂直专用模型
16:57.020–16:58.520
zh换取极高精度
换取极高精度
16:58.520–17:00.680
zhAlphaFold就是典型案例
AlphaFold就是典型案例
17:00.680–17:03.860
zh面向蛋白质折叠的专用模型取得巨大成功
面向蛋白质折叠的专用模型取得巨大成功
17:03.860–17:05.480
zh却并非通用大模型
却并非通用大模型
17:05.480–17:06.440
zh材料科学
材料科学
17:06.440–17:09.920
zh芯片设计领域也存在同类的落地可能性
芯片设计领域也存在同类的落地可能性
17:09.920–17:12.340
zh怎样成长为AI原生的创始人
怎样成长为AI原生的创始人
17:12.340–17:13.140
zh他提到
他提到
17:13.140–17:14.920
zh和虚拟agent的协作的时候
和虚拟agent的协作的时候
17:14.920–17:16.840
zh把需求描述的越清晰
把需求描述的越清晰
17:16.840–17:18.720
zh最终产出效果就越好
最终产出效果就越好
17:18.720–17:20.460
zh需求定义足够明确
需求定义足够明确
17:20.460–17:22.540
zhAgent就拥有清晰的边界
Agent就拥有清晰的边界
17:22.540–17:23.880
zh明白自身的目标
明白自身的目标
17:23.880–17:25.980
zh从很早的计算机发展阶段
从很早的计算机发展阶段
17:25.980–17:28.420
zh工程师就被要求开发软件之前
工程师就被要求开发软件之前
17:28.420–17:29.880
zh梳理清楚产品规格
梳理清楚产品规格
17:29.880–17:32.540
zh如今只是把执行工作交给Agent
如今只是把执行工作交给Agent
17:32.540–17:35.140
zh明确规格这件事反而变得更加关键
明确规格这件事反而变得更加关键
17:35.140–17:37.160
zh人类工程师可以读懂语境
人类工程师可以读懂语境
17:37.160–17:38.780
zh主动反问确认细节
主动反问确认细节
17:38.780–17:41.080
zhAgent虽然部分场景可以追问
Agent虽然部分场景可以追问
17:41.080–17:44.300
zh但整体还是高度依赖清晰完备的需求描述
但整体还是高度依赖清晰完备的需求描述
17:44.300–17:46.680
zh现在代码迁移类的Coding Agent
现在代码迁移类的Coding Agent
17:46.680–17:47.700
zh效果出众
效果出众
17:47.700–17:49.740
zh背后的原因也正在于此
背后的原因也正在于此
17:49.740–17:53.020
zh把一套软件从一门语言迁移到另一门语言
把一套软件从一门语言迁移到另一门语言
17:53.020–17:55.420
zh原始代码本身就是完整的规格
原始代码本身就是完整的规格
17:55.420–17:57.640
zh原有测试用力可以直接复用
原有测试用力可以直接复用
17:57.640–17:59.000
zh同时完成迁移
同时完成迁移
17:59.000–18:01.380
zh持续比对新旧版本行为差异
持续比对新旧版本行为差异
18:01.380–18:03.100
zh直到二者表现对齐
直到二者表现对齐
18:03.100–18:04.880
zh正是规格足够明确
正是规格足够明确
18:04.880–18:07.100
zh才造就这类任务亮眼的表现
才造就这类任务亮眼的表现
18:07.100–18:09.220
zh未来大规模调度数百个Agent
未来大规模调度数百个Agent
18:09.220–18:10.080
zh成为常态
成为常态
18:10.080–18:11.880
zh大量代码由Agent生成
大量代码由Agent生成
18:11.880–18:13.740
zh什么能力会变得最为稀缺
什么能力会变得最为稀缺
18:13.740–18:15.800
zh杰弗·迪恩给出的答案是品位
杰弗·迪恩给出的答案是品位
18:15.800–18:19.440
zh也就是判断哪些问题值得交给agent去解决
也就是判断哪些问题值得交给agent去解决
18:19.440–18:21.900
zh放到研究领域大部分的成败
放到研究领域大部分的成败
18:21.900–18:24.760
zh从选择研究课题的那一刻就已经注定
从选择研究课题的那一刻就已经注定
18:24.760–18:26.100
zh手握全套工具
手握全套工具
18:26.100–18:28.120
zh不如选对值得投入的问题
不如选对值得投入的问题
18:28.120–18:30.180
zh把普通问题打磨得再精致
把普通问题打磨得再精致
18:30.180–18:32.720
zh也比不上攻克一个高价值的难题
也比不上攻克一个高价值的难题
18:32.720–18:35.540
zh但是品位本身没有标准化的考核指标
但是品位本身没有标准化的考核指标
18:35.540–18:36.880
zh应当如何训练
应当如何训练
18:36.880–18:39.120
zh一部分来源于大量项目经验
一部分来源于大量项目经验
18:39.120–18:41.480
zh经手足够多不同类型的问题
经手足够多不同类型的问题
18:41.480–18:43.620
zh慢慢积累对机会的判断力
慢慢积累对机会的判断力
18:43.620–18:45.060
zh还有一个实操办法
还有一个实操办法
18:45.060–18:46.880
zh写下未来12个月之内
写下未来12个月之内
18:46.880–18:49.260
zh自己预判会迎来爆发的方向
自己预判会迎来爆发的方向
18:49.260–18:52.000
zh后续只挑选其中一部分落地
后续只挑选其中一部分落地
18:52.000–18:53.820
zh12个月之后回头复盘
12个月之后回头复盘
18:53.820–18:55.460
zh看看哪些预判成真
看看哪些预判成真
18:55.460–18:57.140
zh哪些被其他人实现
哪些被其他人实现
18:57.140–18:58.640
zh哪些完全没有发生
哪些完全没有发生
18:58.640–19:00.960
zh相当于给自己制造大量样本
相当于给自己制造大量样本
19:00.960–19:02.660
zh反向训练自己的判断力
反向训练自己的判断力
19:02.660–19:05.720
zh第三种方式就是做疯狂的思想实验
第三种方式就是做疯狂的思想实验
19:05.720–19:08.780
zh不要把行业默认的前提全部当成真理
不要把行业默认的前提全部当成真理
19:08.780–19:11.540
zh他分享了一段和同事开展的思想实验
他分享了一段和同事开展的思想实验
19:11.540–19:12.660
zh过去60年
过去60年
19:12.660–19:14.220
zh芯片设计制造行业
芯片设计制造行业
19:14.220–19:16.420
zh都在拼命缩小晶体管尺寸
都在拼命缩小晶体管尺寸
19:16.420–19:17.880
zh压低出错概率
压低出错概率
19:17.880–19:19.900
zh默认目标就是同一款芯片
默认目标就是同一款芯片
19:19.900–19:22.040
zh每一颗成品都应当完全一致
每一颗成品都应当完全一致
19:22.040–19:23.600
zh不能出现比特翻转
不能出现比特翻转
19:23.600–19:24.940
zh但是宏观层面
但是宏观层面
19:24.940–19:27.520
zh大规模分布式系统的逻辑恰恰相反
大规模分布式系统的逻辑恰恰相反
19:27.520–19:29.440
zh依靠不可靠的硬件组件
依靠不可靠的硬件组件
19:29.440–19:31.040
zh搭建高可靠系统
搭建高可靠系统
19:31.040–19:32.180
zh磁盘会损坏
磁盘会损坏
19:32.180–19:33.880
zh但是数据不能丢失
但是数据不能丢失
19:33.880–19:35.420
zh于是做多副本
于是做多副本
19:35.420–19:36.680
zh使用纠缠码
使用纠缠码
19:36.680–19:38.240
zh可是这套容错思路
可是这套容错思路
19:38.240–19:40.340
zh并没有下放到晶体管这一层
并没有下放到晶体管这一层
19:40.340–19:41.900
zh如果设计一套芯片
如果设计一套芯片
19:41.900–19:44.580
zh晶体管每天会出现20次错误
晶体管每天会出现20次错误
19:44.580–19:46.920
zh而不是几百万年才出现一次故障
而不是几百万年才出现一次故障
19:46.920–19:48.940
zh整套系统会走向何方
整套系统会走向何方
19:48.940–19:51.680
zh制造工艺或许会迎来全新可能性
制造工艺或许会迎来全新可能性
19:51.680–19:53.980
zh信号传输采用多条冗余通路
信号传输采用多条冗余通路
19:53.980–19:56.280
zh保障至少一路信号可以送达
保障至少一路信号可以送达
19:56.280–19:59.500
zh这套逻辑和人脑神经信号传递十分相似
这套逻辑和人脑神经信号传递十分相似
19:59.500–20:02.220
zh大脑信号传输本身就不是绝对可靠
大脑信号传输本身就不是绝对可靠
20:02.220–20:05.220
zh重要信息就依靠多条通路同时传递
重要信息就依靠多条通路同时传递
20:05.220–20:08.020
zh它并不是说当下就要落地这套方案
它并不是说当下就要落地这套方案
20:08.020–20:10.300
zh但是这类思想实验意义重大
但是这类思想实验意义重大
20:10.300–20:13.500
zh要定期重新审视所有人习以为常的预设
要定期重新审视所有人习以为常的预设
20:13.500–20:15.120
zh回顾他的职业生涯
回顾他的职业生涯
20:15.120–20:19.100
zhTPU的诞生就是推翻固有假设之后接触的果实
TPU的诞生就是推翻固有假设之后接触的果实
20:19.100–20:21.400
zh在问题还没有成为主流的时候
在问题还没有成为主流的时候
20:21.400–20:23.720
zh思考小众场景的专用硬件
思考小众场景的专用硬件
20:23.720–20:25.420
zhMapReduce也是同理
MapReduce也是同理
20:25.420–20:28.000
zh团队厌倦了手工编写大量并行
团队厌倦了手工编写大量并行
20:28.000–20:29.840
zh容错相关的重复代码
容错相关的重复代码
20:29.840–20:31.920
zh于是提出全新抽象框架
于是提出全新抽象框架
20:31.920–20:34.340
zh上层只需要编写业务逻辑
上层只需要编写业务逻辑
20:34.340–20:36.920
zh底层统一处理并行调度和容错
底层统一处理并行调度和容错
20:36.920–20:40.040
zh最后成为谷歌大规模计算的核心底座
最后成为谷歌大规模计算的核心底座
20:40.040–20:41.640
zh而这一切的源头
而这一切的源头
20:41.640–20:43.340
zh同样来自思想实验
同样来自思想实验
20:43.340–20:45.700
zh现在有Alpha Chip辅助芯片布局
现在有Alpha Chip辅助芯片布局
20:45.700–20:48.560
zh有Alpha UVO完成方案生成评估留存
有Alpha UVO完成方案生成评估留存
20:48.560–20:50.620
zh整套AI制造AI的体系
整套AI制造AI的体系
20:50.620–20:51.900
zh正在逐步成型
正在逐步成型
20:51.900–20:52.880
zh广义来讲
广义来讲
20:52.880–20:55.320
zh这本质就是科学方法的自动化
这本质就是科学方法的自动化
20:55.320–20:56.380
zh提出假设
提出假设
20:56.380–20:57.440
zh搭建环境
搭建环境
20:57.440–20:58.360
zh执行实验
执行实验
20:58.360–20:59.380
zh评估结果
评估结果
20:59.380–21:01.040
zh循环往复推进迭代
循环往复推进迭代
21:01.040–21:02.560
zh如今越来越多领域
如今越来越多领域
21:02.560–21:04.200
zh可以把这套闭环自动化
可以把这套闭环自动化
21:04.200–21:06.100
zh一次性执行海量实验
一次性执行海量实验
21:06.100–21:07.520
zh压缩循环延迟
压缩循环延迟
21:07.520–21:08.780
zh就变得格外关键
就变得格外关键
21:08.780–21:11.620
zh前提是评估器本身要足够快速
前提是评估器本身要足够快速
21:11.620–21:13.620
zh他举了一个十年之前的案例
他举了一个十年之前的案例
21:13.620–21:15.300
zh同事研究量子化学
同事研究量子化学
21:15.300–21:16.620
zh解析分子属性
解析分子属性
21:16.620–21:18.480
zh传统密度泛含理论模拟器
传统密度泛含理论模拟器
21:18.480–21:20.060
zh跑一次就要耗费一整夜
跑一次就要耗费一整夜
21:20.060–21:22.540
zh团队收集大量输入输出样本
团队收集大量输入输出样本
21:22.540–21:24.760
zh训练神经网络近似模拟器
训练神经网络近似模拟器
21:24.760–21:26.500
zh速度提升30万倍
速度提升30万倍
21:26.500–21:28.480
zh精度却几乎没有损失
精度却几乎没有损失
21:28.480–21:30.220
zh彻底改写科研模式
彻底改写科研模式
21:30.220–21:32.320
zh从前筛选1000万候选分子
从前筛选1000万候选分子
21:32.320–21:34.040
zh要耗费6个月筹备算力
要耗费6个月筹备算力
21:34.040–21:35.580
zh现在一顿午饭的时间
现在一顿午饭的时间
21:35.580–21:36.760
zh就可以完成筛选
就可以完成筛选
21:36.760–21:39.780
zh大量行业还有机会打造高速仿真模型
大量行业还有机会打造高速仿真模型
21:39.780–21:40.720
zh一旦实现
一旦实现
21:40.720–21:43.620
zh整个实验迭代周期就会被彻底重构
整个实验迭代周期就会被彻底重构
21:43.620–21:45.140
zh它最看好的方向
它最看好的方向
21:45.140–21:47.080
zh就是模型依靠大量实验
就是模型依靠大量实验
21:47.080–21:48.900
zh实现地规式自我改进
实现地规式自我改进
21:48.900–21:50.880
zh持续提升每一份算力
持续提升每一份算力
21:50.880–21:52.300
zh可以产出的新发现
可以产出的新发现
21:52.300–21:53.900
zh对话推进到后半段
对话推进到后半段
21:53.900–21:55.460
zh谈及职业路上的挫折
谈及职业路上的挫折
21:55.460–21:56.900
zh2014年杰弗蒂恩
2014年杰弗蒂恩
21:56.900–21:57.960
zh杰弗里辛顿
杰弗里辛顿
21:57.960–21:59.400
zh奥里奥尔维尼亚尔斯
奥里奥尔维尼亚尔斯
21:59.400–22:01.400
zh联合发布知识蒸馏论文
联合发布知识蒸馏论文
22:01.400–22:03.340
zh用大模型充当老师
用大模型充当老师
22:03.340–22:04.860
zh小模型充当学生
小模型充当学生
22:04.860–22:06.120
zh得到体积更小
得到体积更小
22:06.120–22:07.000
zh成本更低
成本更低
22:07.000–22:08.600
zh同时效果优异的模型
同时效果优异的模型
22:08.600–22:11.000
zh如今整个行业都在广泛使用
如今整个行业都在广泛使用
22:11.000–22:13.700
zh但是这篇论文当年被NIPS聚稿
但是这篇论文当年被NIPS聚稿
22:13.700–22:15.000
zh评审的观点认为
评审的观点认为
22:15.000–22:16.900
zh这项工作很难带来重大突破
这项工作很难带来重大突破
22:16.900–22:18.060
zh杰弗迪恩表示
杰弗迪恩表示
22:18.060–22:19.660
zh并不责怪评审委员会
并不责怪评审委员会
22:19.660–22:21.320
zh对方站在学术视角
对方站在学术视角
22:21.320–22:24.100
zh评判是否属于理论层面的重大突破
评判是否属于理论层面的重大突破
22:24.100–22:26.980
zh而团队清楚这件事巨大的工程价值
而团队清楚这件事巨大的工程价值
22:26.980–22:29.280
zh目标是降低模型服务成本
目标是降低模型服务成本
22:29.280–22:30.680
zh扩大落地场景
扩大落地场景
22:30.680–22:33.800
zh他们把论文上传到ARXV预印本平台
他们把论文上传到ARXV预印本平台
22:33.800–22:35.580
zh行业从业者阅读之后
行业从业者阅读之后
22:35.580–22:36.640
zh大量落地使用
大量落地使用
22:36.640–22:38.800
zhGemini当中的Flash系列模型
Gemini当中的Flash系列模型
22:38.800–22:41.920
zh就有一部分来自大尺寸Pro模型的蒸馏
就有一部分来自大尺寸Pro模型的蒸馏
22:41.920–22:43.660
zh在同规格模型当中
在同规格模型当中
22:43.660–22:45.520
zh基准测试表现十分靠前
基准测试表现十分靠前
22:45.520–22:47.360
zh这件事带来的启示就是
这件事带来的启示就是
22:47.360–22:49.040
zh就算成果遭到拒绝
就算成果遭到拒绝
22:49.040–22:50.280
zh也不要停下脚步
也不要停下脚步
22:50.280–22:51.820
zh如果把1999年
如果把1999年
22:51.820–22:55.140
zh刚刚加入只有20人规模谷歌的年轻杰弗迪恩
刚刚加入只有20人规模谷歌的年轻杰弗迪恩
22:55.140–22:57.080
zh直接传送到2026年
直接传送到2026年
22:57.080–22:59.340
zh他会选择大厂前沿实验室
他会选择大厂前沿实验室
22:59.340–23:01.020
zh还是选择自主创业
还是选择自主创业
23:01.020–23:02.840
zh他表示没有标准答案
他表示没有标准答案
23:02.840–23:04.236
zh最核心的判断表现
最核心的判断表现
23:17.036–23:18.616
zh创业公司风险更高
创业公司风险更高
23:18.616–23:20.196
zh必须拥有极强的热情
必须拥有极强的热情
23:20.196–23:22.036
zh但也可以收获极高的回报
但也可以收获极高的回报
23:22.036–23:23.776
zh无论选择哪一条道路
无论选择哪一条道路
23:23.776–23:24.976
zh都要反问自己
都要反问自己
23:24.976–23:27.016
zh如果项目走到最好的结局
如果项目走到最好的结局
23:27.016–23:28.876
zh世界会不会切实变好
世界会不会切实变好
23:28.876–23:30.436
zh如果仅仅只是很酷
如果仅仅只是很酷
23:30.436–23:32.396
zh就不值得投入大量时间
就不值得投入大量时间
23:32.396–23:34.836
zh谈及如何寻找优秀的合作者
谈及如何寻找优秀的合作者
23:34.836–23:36.876
zh不仅要寻找专业能力过硬
不仅要寻找专业能力过硬
23:36.876–23:38.196
zh技能互补的伙伴
技能互补的伙伴
23:38.196–23:40.896
zh也要选择相处起来足够愉快的人
也要选择相处起来足够愉快的人
23:40.896–23:43.836
zh创业路上要共同面对大量棘手难题
创业路上要共同面对大量棘手难题
23:43.836–23:45.796
zh彼此的相处体验格外重要
彼此的相处体验格外重要
23:45.796–23:49.816
zh小团队的魅力就是每个人掌握其他人不具备的能力
小团队的魅力就是每个人掌握其他人不具备的能力
23:49.816–23:53.016
zh组合在一起可以完成单人无法实现的成果
组合在一起可以完成单人无法实现的成果
23:53.016–23:56.236
zh要把自己的工程或者科研生涯当成一条工具腰带
要把自己的工程或者科研生涯当成一条工具腰带
23:56.236–23:57.956
zh持续补充新的工具
持续补充新的工具
23:57.956–24:01.016
zh你永远预料不到未来会碰到什么样的难题
你永远预料不到未来会碰到什么样的难题
24:01.016–24:02.436
zh掌握的工具越多
掌握的工具越多
24:02.436–24:04.816
zh可以解决的问题边界就越宽广
可以解决的问题边界就越宽广
24:04.816–24:06.736
zh主持人抛出最后一个问题
主持人抛出最后一个问题
24:06.736–24:10.436
zh他希望新一代创作者把精力投入到哪些方向
他希望新一代创作者把精力投入到哪些方向
24:10.436–24:11.716
zh杰弗迪恩讲到
杰弗迪恩讲到
24:11.716–24:13.696
zh值得探索的问题数不胜数
值得探索的问题数不胜数
24:13.696–24:16.336
zh他个人十分看好全新硬件路线
他个人十分看好全新硬件路线
24:16.336–24:18.936
zh高效推理硬件拥有巨大价值
高效推理硬件拥有巨大价值
24:18.936–24:21.976
zh机器学习算法本身也还有巨大革新空间
机器学习算法本身也还有巨大革新空间
24:21.976–24:25.196
zh比如数据效率远远高于当下的系统
比如数据效率远远高于当下的系统
24:25.196–24:27.836
zh现在大模型18岁阶段接触的数据总量
现在大模型18岁阶段接触的数据总量
24:27.836–24:30.596
zh比人类18岁接触的信息多出1000倍
比人类18岁接触的信息多出1000倍
24:30.596–24:32.676
zh但是人类在大量任务当中
但是人类在大量任务当中
24:32.676–24:34.816
zh依旧可以持平甚至优于大模型
依旧可以持平甚至优于大模型
24:34.816–24:37.176
zh我们能不能打造数据效率更高
我们能不能打造数据效率更高
24:37.176–24:40.516
zh可以从自身行动当中持续学习的系统
可以从自身行动当中持续学习的系统
24:40.516–24:43.196
zh持续学习本身就是极具价值的课题
持续学习本身就是极具价值的课题
24:43.196–24:46.176
zh多agent交互同样充满想象空间
多agent交互同样充满想象空间
24:46.176–24:47.896
zh把视角在向外延伸
把视角在向外延伸
24:47.896–24:50.396
zh如何促成人类之间更良性的对话
如何促成人类之间更良性的对话
24:50.396–24:52.736
zh搭建工具帮助人们理性交流
搭建工具帮助人们理性交流
24:52.736–24:55.276
zh帮助志趣相投的人建立连接
帮助志趣相投的人建立连接
24:55.276–24:57.436
zh同样是值得深耕的方向
同样是值得深耕的方向
24:57.436–24:58.536
zh整场对话听完
整场对话听完
24:58.536–25:01.376
zh不难感受到杰弗迪恩看待行业的独特视角
不难感受到杰弗迪恩看待行业的独特视角
25:01.376–25:04.016
zh他不会空谈AGI什么时候到来
他不会空谈AGI什么时候到来
25:04.016–25:05.116
zh而是立足于能耗
而是立足于能耗
25:05.116–25:05.936
zh数据搬运
数据搬运
25:05.936–25:07.796
zh延迟这些底层物理约束
延迟这些底层物理约束
25:07.796–25:09.676
zh向上推导系统设计逻辑
向上推导系统设计逻辑
25:09.676–25:10.996
zh推导创业机会
推导创业机会
25:10.996–25:13.556
zh全行业疯狂内卷模型参数的时候
全行业疯狂内卷模型参数的时候
25:13.556–25:17.156
zh他提醒大家数据搬运的成本是计算的1000倍
他提醒大家数据搬运的成本是计算的1000倍
25:17.156–25:20.636
zh推理硬件专用化是下一轮效率跃升的关键
推理硬件专用化是下一轮效率跃升的关键
25:20.636–25:23.696
zh所有人焦虑通用模型吞噬创业机会
所有人焦虑通用模型吞噬创业机会
25:23.696–25:27.676
zh他告诉大家去寻找成功率0%到1%的赛道
他告诉大家去寻找成功率0%到1%的赛道
25:27.676–25:28.996
zh挖掘私有数据
挖掘私有数据
25:28.996–25:30.756
zh垂直专用模型的机会
垂直专用模型的机会
25:30.756–25:33.116
zh所有人埋头打磨提示词的时候
所有人埋头打磨提示词的时候
25:33.116–25:35.856
zh他点名未来最稀缺的资源是品位
他点名未来最稀缺的资源是品位
25:35.856–25:37.796
zh是筛选问题的判断力
是筛选问题的判断力
25:37.796–25:39.996
zh这些认知不是凭空想象
这些认知不是凭空想象
25:39.996–25:42.096
zh来自几十年系统工程沉淀
来自几十年系统工程沉淀
25:42.096–25:44.176
zh来自一次次参金值演算
来自一次次参金值演算
25:44.176–25:46.976
zh来自一次次推翻固有认知的思想实验
来自一次次推翻固有认知的思想实验
25:46.976–25:49.376
zh以上就是整场访谈的核心精华
以上就是整场访谈的核心精华
25:49.376–25:52.436
zh如果你觉得这些来自一线工程大佬的思考
如果你觉得这些来自一线工程大佬的思考
25:52.436–25:53.236
zh对你有启发
对你有启发
25:53.236–25:54.336
zh欢迎点赞
欢迎点赞
25:54.336–25:57.996
zh也可以把这期内容分享给身边做AI开发创业的朋友
也可以把这期内容分享给身边做AI开发创业的朋友
25:57.996–26:00.236
zh一起跳出网络上的流量炒作
一起跳出网络上的流量炒作
26:00.236–26:02.636
zh看见行业更真实的底层逻辑
看见行业更真实的底层逻辑
26:02.636–26:03.836
zh我们下期再见
我们下期再见
影片筆記：Jeff Dean 拆解 AI 底層桎梏！推理硬體迎來大變局，AI 創業者的真正機遇在哪
<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->
⚠️ 可先使用，仍有待修正項目
本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。
- 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）
<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->
一句話總結
Jeff Dean 在 YC 圓桌對話中指出，AI 能力迭代速度遠超預期，2027 年的核心趨勢是「機器學習系統自我自動化」；他強調推理專用硬體與低延遲是 Agent 落地的關鍵，並建議創業者應專注於通用模型成功率極低的垂直領域，利用私有數據與專用模型建立壁壘，同時培養判斷問題價值的「品位」。
核心重點
- AI 能力驗證與預測：
- AI 已達初級工程師水準，且 Agent 在長週期編程任務中的能力迭代速度遠超預估。
- 預測 2027 年核心趨勢為「機器學習系統自我自動化」，即讓 AI 自主進行大規模實驗與問題拆解，實現自身能力迭代。
- 硬體瓶頸與推理專用化：
- 數據搬運能耗高於計算能耗：完成一次計算消耗約 $10^{-12}$ 焦耳（註：原文聽寫為 EP 焦 2），而數據搬運/IO 操作消耗的能量是前者的 1000 倍。
- 延遲與體驗：推理環節是 Agent 面向普通用戶落地的核心，低延遲是王道。
- 硬體走向：高性能、低能耗的「推理專用硬體」將大規模普及，以壓縮數據搬運頻次並探索極低精度運算。
- 系統架構與上下文工程：
- 拉開差距的不僅是模型規模，還包括檢索工具、記憶模組、Agent 與工具鏈。
- 上下文工程 (Context Engineering)：通過 API 搭配自研檢索邏輯與工作流編排，無需改動底層模型權重，即可通過迭代指引進入自我優化循環。
- 長鏈路穩定性：針對 Agent 執行 30-50 步後邏輯跑偏的問題，建議採用多 Agent 架構並行嘗試不同思路，由評判模型篩選保留有希望分支。
- 創業者機會與「品位」：
- 尋找低成功率賽道：優先尋找通用模型成功率僅 0% 或 1% 的問題，而非 20% 左右的賽道，因為這代表能力種子已存在，只需補充數據或擴大規模。
- 利用私有數據：處理用戶個人信息等通用模型無法接觸的數據，建立天然壁壘。
- AI 原生創始人的核心能力：品位 (Taste)：判斷哪些問題值得交給 Agent 解決的能力，需通過累積項目經驗、預判未來方向並復盤來訓練。
- 科學方法的自動化：
- 趨勢是提出假設 -> 搭建環境 -> 執行實驗 -> 評估結果 -> 循環迭代。
- 關鍵在於評估器必須足夠快速，壓縮循環延遲。例如在量子化學研究中，用神經網絡近似模擬器替代傳統模擬器，速度提升 30 萬倍。
詳細大綱
一、 AI 能力現狀與未來預測
- 驗證「初級工程師」論斷：
- 回顧去年 5 月 AISNOT 活動上的觀點：AI 已達初級工程師水準。
- 現狀復盤：Agent 在長週期編程任務中的能力迭代速度遠超預估，複雜任務處理能力提升幅度被嚴重低估。
- 結論：判斷大致應驗，但實際提升速度比事前預判快得多。
- 2027 年核心趨勢：機器學習系統自我自動化：
- 核心概念：讓 AI 系統自主開展大批量實驗。
- 運作模式：將大問題拆解為子任務 -> 搭建閉環自動實驗循環 -> 整合分散結果 -> 完成自身能力迭代。
- 適用範圍：任何能建立量化衡量目標的科學或工程領域。
二、 硬體瓶頸與推理專用化
- 歷史類比與現實差異：
- 回顧 2001 年谷歌搜索從硬碟讀取轉向記憶體運行的歷史（基於「餐巾紙數學」的成本測算）。
- 當前趨勢：高性能、低能耗的「推理硬體系統」將大規模普及。
- 延遲與用戶體驗：
- 推理環節是 Agent 面向普通用戶落地的核心基石。
- 延遲是決定用戶體驗的關鍵指標，速度是王道。
- 硬體走向專業化（相比通用 GPU/TPU）是實現更低功耗、更低延遲的路徑。
- 物理約束：數據搬運 vs. 計算能耗：
- 關鍵數據：完成一次計算消耗約 $10^{-12}$ 焦耳（註：原文聽寫為 EP 焦 2，疑點見下文），而一次數據搬運/IO 操作消耗的能量是前者的 1000 倍。
- 工程影響：
- 為了攤薄數據搬運的巨大能耗懲罰，工程師必須將大量樣本或 Token 攢成批次統一處理（Batching）。
- 若追求極低延遲推理，批量處理會成為阻礙。
- 硬體能量約束自上而下影響 AI 系統每一層設計。
- 推理硬體優化方向：
- 壓縮數據搬運頻次。
- 探索極低精度運算，固化業務所需精度，無需兼容五花八門的精度規格。
三、 系統架構與上下文工程
- 模型之外的配套體系：
- 拉開差距的不僅是模型規模，還包括檢索工具、記憶模組、Agent、工具鏈。
- 目標：搭建解決複雜現實問題的完整系統，而非僅依賴模型。
- 上下文工程 (Context Engineering)：
- 優勢：門檻相對較低，普通團隊可通過 API 搭配自研檢索邏輯與工作流編排進行實踐。
- 實操思路：
- 使用真實業務場景測試模型與工具鏈。
- 觀察模型出錯點位，提供更高質量的指引與技能描述。
- 無需改動底層模型權重，通過迭代指引進入自我優化循環。
- 案例：谷歌內部代碼庫性能調優，將人類工程師流程轉化為 Agent 指令。
- 長鏈路 Agent 的穩定性問題：
- 痛點：Agent 在執行 30-50 步後邏輯容易跑偏，脫離熟悉任務分佈後效果下滑。
- 解決方案：
- 編寫技能與提示詞，維持模型在熟悉的高成功率路徑。
- 採用多 Agent 架構：多個獨立 Agent 並行嘗試不同思路，由另一個模型/Agent 評判可行性，進行搜索篩選，保留有希望分支，丟棄無效分支。
四、 創業者機會與「品位」
- 通用模型與垂直領域的博弈：
- 通用大模型追求通用性，難以針對垂直細分領域深度打磨。
- 創業團隊機會：針對特定行業打磨優質交互界面、專屬技能體系、垂直微調專用模型。
- 風險判斷：評估賽道是否會在 6-12 個月內被通用模型覆蓋。
- 篩選值得投入的方向：
- 尋找低成功率賽道：優先尋找通用模型成功率僅 0% 或 1% 的問題，而非 20% 左右的賽道。
- 原因：代表能力種子已存在，只需補充數據或擴大規模即可迭代。
- 利用私有數據：處理用戶個人信息等通用模型無法接觸的數據，建立天然壁壘。
- 高難度專用模型：以可控成本訓練垂直專用模型換取極高精度（如 AlphaFold 案例）。
- AI 原生創始人的核心能力：品位 (Taste)：
- 定義：判斷哪些問題值得交給 Agent 解決的能力。
- 訓練方法：
- 累積項目經驗，經手多種類型問題。
- 寫下未來 12 個月爆發方向預判，後續僅挑選部分落地，12 個月後復盤以反向訓練判斷力。
- 進行瘋狂的思想實驗，推翻行業默认前提。
五、 思想實驗與科學自動化
- 思想實驗案例：
- 芯片設計：傳統追求單一芯片一致性，但宏觀分布式系統依靠不可靠組件構建高可靠系統（如多副本、糾纏碼）。
- 假設：若設計一種每天出現 20 次錯誤的芯片，通過多條冗餘通路傳輸信號，是否可行？（類比人腦神經信號傳遞）。
- 科學方法的自動化：
- 趨勢：提出假設 -> 搭建環境 -> 執行實驗 -> 評估結果 -> 循環迭代。
- 關鍵：評估器必須足夠快速，壓縮循環延遲。
- 案例：量子化學研究中，用神經網絡近似模擬器替代傳統密度泛函理論模擬器，速度提升 30 萬倍，精度幾乎無損失，徹底改寫科研模式。
- 展望：模型依靠大量實驗實現地規式自我改進，提升算力產出的新發現。
六、 職業建議與回顧
- 知識蒸餾 (Knowledge Distillation) 的啟示：
- 2014 年與 Geoffrey Hinton、Oriol Vinyals 發表的論文最初被 NIPS 拒絕，認為缺乏理論重大突破。
- 團隊堅持上傳至 ArXiv，最終在工程落地與降低成本上取得巨大成功（如 Gemini Flash 系列）。
- 啟示：即使成果被學術界拒絕，若具備巨大工程價值，仍應堅持。
- 創業與合作建議：
- 創業需極強熱情，核心判斷標準是「項目走到最好結局，世界會不會確實變好」。
- 尋找合作者：不僅專業互補，相處體驗也至關重要。
- 工程師應將職業生涯視為「工具腰帶」，持續補充新工具以擴大解決問題的邊界。
工具 / 模型 / 名詞整理
- 谷歌內部工具/系統：
- 谷歌搜索 (Google Search)
- TPU (Tensor Processing Unit)
- Chrome 瀏覽器
- Word
- MapReduce
- Alpha Chip (輔助芯片佈局)
- Alpha UVO (方案生成評估留存)
- 谷歌內部編碼工具、性能測試工具、日誌文件讀取工具
- 自研微型基準測試庫 (用於統計操作耗時)
- AI 模型/產品：
- Gemini (提及 Pro 系列與 Flash 系列)
- AlphaFold (面向蛋白質摺疊的專用模型)
- 大模型 (General Large Models)
- 小模型 (Small Models)
- 學術/技術術語：
- Agent (智能體)
- TPU (Tensor Processing Unit)
- GPU (Graphics Processing Unit)
- CPU (Central Processing Unit)
- Transformer 架構
- 知識蒸餾 (Knowledge Distillation)
- NIPS (神經信息處理系統大會)
- ArXiv (預印本平台)
- 密度泛函理論 (Density Functional Theory) 模擬器
- 神經網絡近似模擬器
- 糾纏碼 (Entanglement Codes / Error Correction Codes 疑點，原文聽寫為糾纏碼，通常指糾錯碼)
- 上下文工程 (Context Engineering)
- 提示詞 (Prompt)
- 技能描述 (Skill Descriptions)
操作流程整理
- AI 系統自我自動化循環：
- 將大問題拆解為子任務。
- 搭建閉環自動實驗循環。
- 整合分散結果。
- 完成自身能力迭代。
- 上下文工程實操思路：
- 使用真實業務場景測試模型與工具鏈。
- 觀察模型出錯點位。
- 提供更高質量的指引與技能描述。
- 無需改動底層模型權重，通過迭代指引進入自我優化循環。
- 長鏈路 Agent 穩定性解決方案：
- 編寫技能與提示詞，維持模型在熟悉的高成功率路徑。
- 採用多 Agent 架構：多個獨立 Agent 並行嘗試不同思路。
- 由另一個模型/Agent 評判可行性，進行搜索篩選。
- 保留有希望分支，丟棄無效分支。
- 科學方法自動化循環：
- 提出假設。
- 搭建環境。
- 執行實驗。
- 評估結果（評估器必須足夠快速）。
- 循環迭代。
- 創業者品位訓練方法：
- 累積項目經驗，經手多種類型問題。
- 寫下未來 12 個月爆發方向預判。
- 後續僅挑選部分落地。
- 12 個月後復盤以反向訓練判斷力。
- 進行瘋狂的思想實驗，推翻行業默认前提。
值得注意的限制或風險
- 硬體能耗約束：數據搬運/IO 操作消耗的能量是計算能耗的 1000 倍，這限制了極低延遲推理的實現，因為批量處理（Batching）會增加延遲。
- 通用模型覆蓋風險：創業團隊需評估賽道是否會在 6-12 個月內被通用模型覆蓋。
- Agent 長鏈路穩定性：Agent 在執行 30-50 步後邏輯容易跑偏，脫離熟悉任務分佈後效果下滑。
- 學術與工程的落差：如知識蒸餾論文最初被 NIPS 拒絕，顯示學術界對工程價值的判斷可能存在滯後或偏差。
逐字稿辨識疑點
- EP 焦 2：原文聽寫為「完成一次計算消耗的能量大概在 EP 焦 2 級別」。
- *註釋*：物理單位表述不清，可能為聽寫錯誤，實際物理意義不明，需查證。
- 餐金值演算 / 餐巾紙數學：
- 原文出現「餐金值演算」與「餐巾紙數學」。
- *註釋*：「餐巾紙數學」(Napkin Math) 為常見術語，「餐金值演算」疑為聽寫錯誤或口誤，指代同一概念（快速數量級估算）。
- TPO：原文提及「挖掘出下一代如同 TPO 一般重量級的創新」。
- *註釋*：疑為「TPU」的聽寫錯誤。
- 杰弗迪恩 / 杰弗蒂恩 / 杰弗·迪恩：
- 原文中人名翻譯不一致，分別出現「杰弗迪恩」、「杰弗蒂恩」、「杰弗·迪恩」。
- *註釋*：均指代 Jeff Dean，但為保持逐字稿原貌，保留不同寫法。
- 杰弗里辛頓 / 傑弗瑞·辛頓：
- 原文出現「杰弗里辛頓」與「傑弗瑞·辛頓」。
- *註釋*：指代 Geoffrey Hinton，聽寫不一致。
- 奥里奥尔维尼亚尔斯：
- 原文出現「奥里奥尔维尼亚尔斯」。
- *註釋*：指代 Oriol Vinyals，聽寫為音譯。
- AISNOT：
- 原文提及「去年 5 月份杰弗迪恩曾经在 AISNOT 的活動上」。
- *註釋*：疑為某個會議或活動名稱的聽寫，需查證具體會議名稱（可能為 AI Summit 或其他）。
- Performance Heightened TS：
- 原文提及文檔名字叫做「Performance Heightened TS」。
- *註釋*：疑為文檔名稱聽寫錯誤，需查證具體公開文檔名稱。
- 糾纏碼：
- 原文提及「使用糾纏碼」。
- *註釋*：在分布式系統容錯語境下，通常指「糾錯碼」(Error Correction Codes) 或「複製碼」，「糾纏碼」可能為聽寫錯誤或特定術語，需查證。
- 18 歲階段接觸的數據總量比人類 18 歲接觸的信息多出 1000 倍：
- 原文表述。
- *註釋*：邏輯上大模型訓練數據量遠大於人類，但「1000 倍」這一具體倍數需查證是否為準確引用或口誤。
可延伸追問
- 如何具體量化「通用模型成功率僅 0% 或 1%」的賽道？是否有具體的評估指標？
- 在「機器學習系統自我自動化」中
尚未產生學習筆記
請在 Telegram 指令最後加上「學習」，例如：videonote 網址 英文 雙語 學習