start end text 0 28300 你有没有想过,真正定义AI下一阶段走向的,未必是那些轰轰烈烈对外举办的大模型发布会。而是少数行业元老在创业社群内部的深度对话。很多足以改变后续行业走向的核心观点,最先都是诞生在,这类小规模交流现场,没有华丽的宣传包装。全部是几十年工程实践沉淀下来的硬核思考。前不久,谷歌的杰弗迪恩就在YC创业学校完成了一场信息密度极高的圆桌对话。 28300 31420 整场交流把当下AI行业的现实瓶颈 31420 32840 硬件底层逻辑 32840 34280 agent发展边界 34280 37020 还有普通创业者能够抓住的现实机遇 37020 38840 全部完整剖析出来 38840 41200 如果你正在接触AI相关项目 41200 43340 或是想要看懂未来三五年 43340 45020 行业真实的眼睛路线 45020 47280 接下来的内容值得仔细看完 47280 49180 觉得内容对你有启发 49180 50320 可以点赞支持 50320 52240 不错过更多硬核行业解读 52240 55340 主持人开场抛出的第一个问题就相当尖锐 55340 58100 直接回溯到一年之前的公开观点 58100 62460 去年5月份杰弗迪恩曾经在AISNOT的活动上提出一个判断 62460 64940 AI已经达到初级工程师的水准 64940 66100 时隔一整年 66100 67580 行业内外都在观望 67580 69980 当初的这番论断到底有没有应验 69980 71160 面对这个问题 71160 73400 杰弗迪恩没有选择夸大成果 73400 75100 也没有刻意淡化进展 75100 77300 他给出了一份非常务实的复盘 77300 81400 在Agent的体系配合长周期运行时的编程任务当中 81400 85240 大模型能力的迭代速度远远超出他此前的预估 85240 87740 放到初级工程师的评判标准之下 87740 90360 当初的判断大体上已经得到验证 90360 91780 但同时他也坦诚 91780 95360 自己严重低估了复杂任务处理能力的上涨幅度 95360 98520 实际提升速度比事前的预判要快得多 98520 101580 能力的提升并不单单局限在代码编写 101580 104200 这个单一赛道Agent这套运行范式 104200 106980 正在其他各式各样的业务场景当中 106980 109060 展现出实实在在的价值 109060 110300 顺着这个话题 110300 111860 主持人继续向前追问 111860 113780 把目光投向2027年 113780 116780 想要听听属于杰弗迪恩的新一轮大胆预判 116780 118580 他思索之后给出了答案 118580 121740 核心落在机器学习系统的自我自动化上面 121740 122680 简单来讲 122680 126120 就是让AI系统自主开展大批量的实验工作 126120 129920 把复杂的大问题拆解成若干个更小的子任务 129920 132140 搭建一套闭环的自动实验循环 132140 134080 完成子任务的处理之后 134080 136520 再把分散的结果重新整合汇总 136520 138960 以此完成自身能力的迭代升级 138960 142200 这套全自动问题拆解搭配自动实验的思路 142200 144680 并不单单局限于机器学习本身 144680 147220 只要某一个科学或者工程领域 147220 150120 能够建立起一套可以量化衡量的目标 150120 152040 就有机会依靠这套模式 152040 153380 拿到巨大的突破 153380 154280 讲到这里 154280 157100 主持人抛出一个很有历史氛围感的类比 157100 158640 2001年的时候 158640 162040 谷歌搜索还完全依靠硬盘完成数据读取 162040 164100 杰弗迪恩和长期搭档桑杰 164100 166980 通过餐金值演算完成一轮成本测算 166980 168080 得出一个结论 168080 169800 未来某一个时间节点 169800 171160 整套搜索索引 171160 173780 完全可以全部放进机器的内存之中 173780 174820 基于这个判断 174820 178720 两个人短短几天就迭代出全新版本的谷歌搜索 178720 180780 不再依赖硬盘读取数据 180780 182560 全部运行在内存当中 182560 186780 这也成为谷歌搜索体验实现跨越时提升的关键转折点 186780 189060 历史总是会出现相似的韵律 189060 190760 那么放到2026年 190760 192260 属于当下这个时代 192260 195500 整套系统全部搬进内存的标志性时刻又会是什么 195500 197340 现场6000名创业者 197340 200380 又应当盯住哪些信号去设计自己的产品 200380 203460 杰弗迪恩的回答把落脚点放在硬件层面 203460 206980 它坦言当下的情况和当年谷歌搜索的故事 206980 208320 并不能完全等同 208320 210240 但有一个趋势是确定的 210240 213220 高性能同时兼顾低能耗的推理硬件系统 213220 214860 会迎来大规模普及 214860 216820 整个行业已经形成共识 216820 219340 推理环节才是让agent大规模面 219340 221720 向普通用户落地的核心基石 221720 225100 而延迟又是决定用户体验好坏的关键指标 225100 226700 硬件走向专业化 226700 229340 是整套系统相比通用GPU TPU设备 229340 231240 实现更低功耗 231240 233460 更低延迟最重要的实现路径 233460 237000 我们所有人都已经习惯等待模型返回输出结果 237000 239800 但等待本身并不是良好的用户体验 239800 241360 速度才是一切的王道 241360 243700 主持人继续顺着这个方向推进 243700 246120 如果延迟可以直接降低50倍 246120 248700 整个行业会发生什么样的变化 248700 251240 紧接着又抛出另外一个值得深思的问题 251240 252220 时至今日 252220 255100 行业当中还有哪些被大家全盘接受 255100 258320 但实际上已经不再成立的固有AI假设 258320 259920 杰弗迪恩给出的回答 259920 261660 会刷新不少人的固有认知 261660 263200 绝大多数从业者 263200 264800 还没有真正接纳一件事 264800 267460 依托能力足够强的底层基座模型 267460 270340 Agent并不只能运行短短一两个小时 270340 272500 连续运转几天甚至几周 272500 274760 去完成复杂度极高的任务 274760 277160 这件事已经具备现实可行性 277160 278800 现在小部分从业者 278800 280040 已经看到苗头 280040 281300 可绝大多数人 281300 283180 并没有真正把这个可能性 283180 285980 内化到自己的产品设计逻辑当中 285980 288720 而这件事未来会释放出巨大的影响力 288720 291560 很多人会好奇到底什么样的业务场景 291560 294180 需要Agent连续运航数周的时间 294180 296540 杰弗迪恩举了一个很具象的案例 296540 300680 我们可以交给Agent一项完整的软件版本重构工作 300680 304680 把一整套软件完整迁移到另外一门编程语言 304680 307680 重构之后的版本可以实现安全性的提升 307680 309400 或是运行性能的优化 309400 312560 AI完全可以持续推进整套复杂工程 312560 314400 把这项工作落地完成 314400 317360 话题就此切换到TPU诞生的过往 317360 320220 杰弗迪恩在行业里面广为流传的习惯 320220 321840 就是餐巾纸数学 321840 325780 也就是在餐巾纸上快速完成数量级层面的粗略估算 325780 327920 时间回到2013年前后 327920 330540 谷歌语音识别的效果迎来实质性的飞跃 330540 331940 他做过一笔测算 331940 334000 如果每一位谷歌手机用户 334000 336900 每天仅仅使用三分钟的语音识别功能 336900 340160 谷歌整体的服务器集群规模就需要直接翻倍 340160 343360 对应的成本会膨胀到完全无法接受的地步 343360 345180 为了解决这个现实难题 345180 347180 团队决定自研专属芯片 347180 349020 这也就是TPU的起源 349020 349880 他回忆 349880 352440 那时候深度学习驱动的语音系统 352440 353800 对比旧有方案 353800 355840 算力开销高出一大截 355840 357960 但是错误率直接减半 357960 360120 短短几个月时间就拿到过去 360120 362960 20年语音识别领域积累下来的全部进步 362960 365780 初代TPU没有办法运行Chrome浏览器 365780 367840 也跑不了Word这类通用软件 367840 370020 但是在机器学习推理场景当中 370020 371300 拥有极强的针对性 371300 373260 最终落地的初代芯片 373260 375080 对比CPU和GPU 375080 377520 能效可以提升30到80倍 377520 379600 延迟下降20到30倍 379600 381880 打下了非常扎实的技术底子 381880 384820 后续TPU才一步步迭代成如今的模样 384820 388200 有意思的地方在于团队研发TPU的那个阶段 388200 390160 Transformer架构还没有问世 390160 394720 没有人能够预料到后续TPU会成为整个AI产业的基石硬件 394720 396040 也正是因为这样 396040 400560 当时团队的设计思路是打造一套通用线性怠数运算系统 400560 404320 而不是死死绑定某一套特定算法做极致专用化 404320 407620 机器学习算法永远处在持续演化的进程当中 407620 409220 硬件不能过度定制 409220 411480 但是又要保留足够的专用属性 411480 413300 以此拿到巨大的性能收益 413300 415400 比如做大规格乘法运算单元 415400 416700 配置高速内存 416700 418180 搭建高速互联通路 418180 421980 后续几代TPU更是优化多芯片协同工作的能力 421980 425380 让大量芯片可以联合处理同一个复杂任务 425380 426480 主持人接着提问 426480 427480 放到今天 427480 430160 创业者又该做怎样的餐巾纸数学 430160 432720 能不能依靠简单的数量级估算 432720 436240 挖掘出下一代如同TPO一般重量级的创新 436240 437420 杰弗蒂恩表示 437420 439480 这件事没有统一标准答案 439480 441880 但是底层思考逻辑是相通的 441880 444800 首先找准自己所在赛道真正的瓶颈 444800 446120 再去反问自己 446120 449920 是否存在一套和当下主流方案完全不一样的解法 449920 453440 能不能把核心指标抬升一个甚至两个数量级 453440 456980 不要被市面上已经成熟的实现方案束缚住思路 456980 458940 回归第一性原理去思考 458940 461040 如果从零开始解决这个问题 461040 462860 自己会选择什么样的路径 462860 465460 往往就能够挖掘出别人看不见的机会 465460 467060 随后主持人问到一个 467060 469140 只有内行才会深究的话题 469140 472600 多年以前杰弗迪恩写过一份流传极广的清单 472600 476160 名字叫做每个工程师都应该知道的延迟数字 476160 478560 里面记录缓存未命中的耗石 478560 480000 磁盘寻道耗石 494280 497660 杰弗迪恩列举出一系列至关重要的硬件数字 497660 500600 储存到加速器片上内存之间的带宽 500600 502880 通往乘法运算单元的带宽 502880 505700 完成一次乘法运算需要消耗的能量 505700 507980 芯片与芯片之间的互联带宽 507980 511220 在该带宽条件之下可以联动多少颗芯片 511220 515240 还有从500颗芯片扩展到1万颗芯片的规模过程当中 515240 517980 网络带宽会出现多大程度的衰减 517980 522360 这些底层数字会实实在在约束上层业务问题的解法 522360 526440 紧接着他抛出一个足以改变很多人AI系统设计思路的数据 526440 529940 完成一次计算消耗的能量大概在EP焦2级别 529940 531800 但是完成一次数据搬运 531800 532980 一次IO操作 532980 535300 消耗的能量是前者的1000倍 535300 539780 就算只是把数据从加速器的高带宽内存搬运到处理器内部 539780 540860 参与运算 540860 543160 能量开销同样会急剧拉高 543160 547600 搬数据的代价远远高于做计算这条物理层面的硬约数 547600 550540 塑造了机器学习领域大量的工程选择 550540 553160 如果不存在如此悬殊的能耗差距 553160 555600 我们就不需要对数据做批量处理 555600 557480 可现实条件摆在眼前 557480 561620 工程师只能把大量样本或者token攒成批次统一处理 561620 564680 以此贪薄数据搬运带来的巨大能耗惩罚 564680 566160 把1000倍的开销 566160 568380 稀释为1000除以批次规模 568380 571380 但如果我们追求极低延迟的推理表现 571380 574100 批量处理这套逻辑就会变成阻碍 574100 575880 底层硬件的能量约束 575880 579180 会自上而下影响整套AI系统的每一层设计 579180 580460 主持人继续追问 580460 583960 那我们有没有机会实现单条数据的处理模式 583960 587540 杰弗迪恩表示自己现阶段思考更多的是推理测的问题 587540 590760 推理业务天然对低延迟有着强烈诉求 590760 593700 训练环节对此的要求反而没有那么严苛 593700 594800 在他看来 594800 596600 推理硬件的专用化程度 596600 598580 如今远远还没有抵达上线 598580 599920 核心优化方向 599920 602760 一方面是尽可能压缩数据搬运的频次 602760 605220 另一方面去探索极低精度运算 605220 608400 不需要硬件去兼容五花八门的精度规格 608400 610360 把业务真正需要的精度 610360 612440 直接固化到硬件设计当中 612440 614520 聊完硬件层面的种种约束 614520 616420 对话把视角向上拉高 616420 618460 过去大家谈及AI进步 618460 620760 惯性思维就是模型规模更大 620760 622240 训练数据更多 622240 623520 参数体量上涨 623520 624800 训练时间拉长 624800 625960 但是最近几年 625960 627400 真正拉开差距的 627400 628820 不再只有模型本体 628820 631100 模型外围的整套配套体系 631100 632800 价值正在持续走高 632800 635560 不单单要看参数规模和训练数据集 635560 636480 检索工具 636480 637400 记忆模块 637400 638040 Agent 638040 638760 工具链 638760 641040 全部都是不可或缺的组成部分 641040 642880 杰弗迪恩认同这样的看法 642880 645320 模型只是整套解决方案当中的 645320 646320 其中一块拼图 646320 647540 我们真正的目标 647540 649140 是搭建一整套 649140 652020 可以解决复杂现实问题的完整系统 652020 653900 这就意味着模型要学会 653900 655560 调用各式各样的外部工具 655560 657540 检索外部相关信息 657540 659100 留存过往处理其他任务 659100 660480 沉淀下来的历史信息 660480 661900 并且把这些信息 661900 663780 带入当下的上下文当中 663780 665660 这里有一个很关键的区别 665660 668080 训练数据就像是一锅大杂烩 668080 670360 数万亿token混杂在一起 670360 673280 压缩近几千亿的模型参数内部 673280 673920 与之对比 673920 677060 模型在处理具体任务时拿到的上下文信息 677060 678440 逻辑会清晰很多 678440 680900 同时模型还要识别可用的工具 680900 683320 判断哪些工具适配当前步骤 683320 686280 如何把大任务拆解成一连串工具调用 686280 688920 甚至尝试多条不同的解题路径 688920 690980 再评估各个方案的实际效果 690980 694920 这就是复杂agent以及dooragent编排的核心能力 694920 697440 上下文工程这个方向很有意思的一点 697440 699720 使它的准入门槛相对更低 699720 701840 训练大模型需要海量算力 701840 703340 海量数据资源 703340 704900 普通团队很难触碰 704900 706460 但是做上下文工程 706460 709340 只需要调用Gemini这类模型的API接口 709340 711680 再搭配自己搭建的检索逻辑 711680 713040 工具调用流程 713040 714160 工作流编排 714160 715540 就可以动手实践 715540 717960 想要把上下文工程做到足够强 717960 721060 杰弗迪恩给出一套非常务实的实操思路 721060 723360 就是实实在在拿模型和工具链 723360 724580 去处理真实业务 724580 727320 在实操当中观察模型的出错点位 727320 729660 很多时候想要提升模型表现 729660 732180 并不需要去改动底层模型权重 732180 734360 而是提供质量更高的指引 734360 736400 编写更完善的技能描述 736400 738440 告诉模型面对某一类问题 738440 739940 应当如何调用工具 739940 741280 反复迭代之后 741280 742780 你就会慢慢摸清楚 742780 744480 模型还缺少哪些信息 744480 747400 由此进入自我迭代优化的正向循环 747400 749400 他分享了一段亲身经历 749400 750300 几周之前 750300 753240 他和桑杰一起做底层代码库的性能调优 753240 756560 团队内部有自研的微型基准测试库 756560 758640 可以统计各类操作的耗时 758640 762280 这套数据结构被谷歌内部几百万个进程调用 762280 764380 性能表现必须得到保障 764380 766020 在没有Agent的时代 766020 768500 完整流程是先测试现有性能 768500 769480 修改代码 769480 771120 重新跑基准测试 771120 772600 观察性能变化 772600 774560 还要执行更大范围的测试 774560 776800 检查缓存占用等一系列指标 776800 779060 后来他们专门编写对应的技能 779060 781860 教会Agent完整复刻整套工作流 781860 783260 执行基准测试 783260 784460 修改代码 784460 785900 重新叫验性能指标 785900 787480 《循环迭代优化》 787480 790500 这套方案在部分问题上拿到相当不错的效果 790500 793320 本质上就是把人类工程师的工作流程 793320 796080 转化成模型能够读懂执行的指令 796080 797100 几个月之前 797100 800440 他和桑杰共同发布过一份30页左右的公开文档 800440 802980 名字叫做Performance Heightened TS 802980 805480 记录大量性能优化的实操技巧 805480 809060 已经有不少开发者把这份文档做总结提炼之后 809060 810520 投入给不同的大模型 810520 812480 最终测试结果显示 812480 815760 模型分析代码性能问题的能力得到明显提升 815760 818640 而且这份资料对所有人完全公开 818640 819780 谈及agent 819780 822240 有一个所有人都会碰到的现实痛点 822240 825940 不少agent在前十几步执行都十分顺畅 825940 827400 等到推进到第三十步 827400 828120 四十步 828120 829360 甚至五十步之后 829360 831040 就会开始逻辑跑偏 831040 832420 杰弗迪恩坦言 832420 834980 这就是当下技术最大的约束条件 834980 838360 一部分原因是模型处理训练机之外的任务 838360 840120 一旦脱离熟悉的任务分布 840120 841420 效果就会下滑 841420 843620 偏离熟悉的边界越远 843620 844760 失效概率就越高 844760 845780 针对该问题 845780 847880 有两条可行的解决路径 847880 848560 第一种 848560 850920 编写对应的技能和提示之意 850920 853240 尽量让模型维持在自己熟悉 853240 855060 成功率更高的执行路径 855060 855840 第二种 855840 857400 采用多agent的架构 857400 858880 让多个独立agent 858880 860780 并行尝试不同解题思路 860780 863100 再交由另外一个模型或者agent 863100 864920 去评判各个路径的可行性 864920 867120 本质就是对全部可行解法 867120 868080 做搜索筛选 868080 869640 保留有希望的分支 869640 871540 丢弃无效跑偏的分支 871540 872780 依靠推理计算 872780 874460 去便利解决方案空间 874460 876880 以此提升常链路Agent的定性 876880 880000 在谷歌内部就搭建了一整套调度框架 880000 881220 以及海量技能库 881220 883340 Agent可以调用内部编码工具 883340 884660 执行代码审查 884660 885980 完成性能测试 885980 887300 读取日志文件 887300 889040 只要技能定义足够合理 889040 891680 Agent的实用价值就会被大幅释放 891680 892480 紧接着 892480 895900 对话落到在场每一位创业者都无比关心的命题 895900 898960 谷歌能够做到从处理器到上层产品 898960 900480 全链路协同设计 900480 903340 那对于两三个人组成的小型创业团队 903340 905600 还剩下哪些可以抓住的机会 905600 906980 杰弗迪恩讲到 906980 909320 谷歌以及通用大模型团队 909320 911880 都在竭尽全力打造通用性极强 911880 914480 几乎可以处理各类任务的基座模型 914480 917020 但恰恰是追求通用这个前提 917020 919980 导致它很难针对某一个垂直细分领域 919980 921060 做深度打磨 921060 922280 如果创业团队 922280 925640 可以针对特定行业打磨优质的产品交互界面 925640 927460 配套专属的技能体系 927460 929820 甚至是垂直微调的专用模型 929820 932600 完全有机会建立起明显的竞争优势 932600 934120 打造出体验流畅 934120 936060 准确率出色的垂直产品 936060 937800 不过他也做出提醒 937800 940400 通用模型的能力还在持续变强 940400 942340 覆盖的场景不断扩张 942340 944200 创业者必须做好判断 944200 945520 自己选择的赛道 945520 947360 是未来半年到12个月 947360 948880 就会被通用模型覆盖 948880 950220 还是两三年之内 950220 951820 通用模型都难以企及 951820 954220 以此判断赛道的抗风险能力 954220 956240 那创业者应当如何筛选 956240 957620 值得投入的方向 957620 959400 他给出的第一条建议朴素 959400 960000 但是分类 975000 976640 往往代表存在机会 976640 978460 如果已经可以完成一部分 978460 980040 只是效果不够完美 980040 981380 反而要提高警惕 981380 983760 这代表能力的种子已经存在 983760 985560 只需要补充训练数据 985560 986980 扩大模型规模 986980 988640 能力就会快速迭代 988640 991160 所以要优先寻找当下通用模型 991160 993980 成功率只有0%或者1%的问题 993980 996220 而不是20%左右的赛道 996220 997280 这类机会 997280 1000300 一部分属于训练分布之外的全新任务 1000300 1001300 另一类场景 1001300 1003300 是产品可以拿到通用模型 1003300 1004900 接触不到的私有数据 1005000 1007100 比如处理用户个人信息的产品 1007100 1010160 通用模型本身无法获取用户私人资料 1010160 1011720 这就创造天然壁垒 1011720 1012960 还有一类机会 1012960 1014320 针对高难度问题 1014320 1017020 以可控成本训练垂直专用模型 1017020 1018520 换取极高精度 1018520 1020680 AlphaFold就是典型案例 1020680 1023860 面向蛋白质折叠的专用模型取得巨大成功 1023860 1025480 却并非通用大模型 1025480 1026440 材料科学 1026440 1029920 芯片设计领域也存在同类的落地可能性 1029920 1032340 怎样成长为AI原生的创始人 1032340 1033140 他提到 1033140 1034920 和虚拟agent的协作的时候 1034920 1036840 把需求描述的越清晰 1036840 1038720 最终产出效果就越好 1038720 1040460 需求定义足够明确 1040460 1042540 Agent就拥有清晰的边界 1042540 1043880 明白自身的目标 1043880 1045980 从很早的计算机发展阶段 1045980 1048420 工程师就被要求开发软件之前 1048420 1049880 梳理清楚产品规格 1049880 1052540 如今只是把执行工作交给Agent 1052540 1055140 明确规格这件事反而变得更加关键 1055140 1057160 人类工程师可以读懂语境 1057160 1058780 主动反问确认细节 1058780 1061080 Agent虽然部分场景可以追问 1061080 1064300 但整体还是高度依赖清晰完备的需求描述 1064300 1066680 现在代码迁移类的Coding Agent 1066680 1067700 效果出众 1067700 1069740 背后的原因也正在于此 1069740 1073020 把一套软件从一门语言迁移到另一门语言 1073020 1075420 原始代码本身就是完整的规格 1075420 1077640 原有测试用力可以直接复用 1077640 1079000 同时完成迁移 1079000 1081380 持续比对新旧版本行为差异 1081380 1083100 直到二者表现对齐 1083100 1084880 正是规格足够明确 1084880 1087100 才造就这类任务亮眼的表现 1087100 1089220 未来大规模调度数百个Agent 1089220 1090080 成为常态 1090080 1091880 大量代码由Agent生成 1091880 1093740 什么能力会变得最为稀缺 1093740 1095800 杰弗·迪恩给出的答案是品位 1095800 1099440 也就是判断哪些问题值得交给agent去解决 1099440 1101900 放到研究领域大部分的成败 1101900 1104760 从选择研究课题的那一刻就已经注定 1104760 1106100 手握全套工具 1106100 1108120 不如选对值得投入的问题 1108120 1110180 把普通问题打磨得再精致 1110180 1112720 也比不上攻克一个高价值的难题 1112720 1115540 但是品位本身没有标准化的考核指标 1115540 1116880 应当如何训练 1116880 1119120 一部分来源于大量项目经验 1119120 1121480 经手足够多不同类型的问题 1121480 1123620 慢慢积累对机会的判断力 1123620 1125060 还有一个实操办法 1125060 1126880 写下未来12个月之内 1126880 1129260 自己预判会迎来爆发的方向 1129260 1132000 后续只挑选其中一部分落地 1132000 1133820 12个月之后回头复盘 1133820 1135460 看看哪些预判成真 1135460 1137140 哪些被其他人实现 1137140 1138640 哪些完全没有发生 1138640 1140960 相当于给自己制造大量样本 1140960 1142660 反向训练自己的判断力 1142660 1145720 第三种方式就是做疯狂的思想实验 1145720 1148780 不要把行业默认的前提全部当成真理 1148780 1151540 他分享了一段和同事开展的思想实验 1151540 1152660 过去60年 1152660 1154220 芯片设计制造行业 1154220 1156420 都在拼命缩小晶体管尺寸 1156420 1157880 压低出错概率 1157880 1159900 默认目标就是同一款芯片 1159900 1162040 每一颗成品都应当完全一致 1162040 1163600 不能出现比特翻转 1163600 1164940 但是宏观层面 1164940 1167520 大规模分布式系统的逻辑恰恰相反 1167520 1169440 依靠不可靠的硬件组件 1169440 1171040 搭建高可靠系统 1171040 1172180 磁盘会损坏 1172180 1173880 但是数据不能丢失 1173880 1175420 于是做多副本 1175420 1176680 使用纠缠码 1176680 1178240 可是这套容错思路 1178240 1180340 并没有下放到晶体管这一层 1180340 1181900 如果设计一套芯片 1181900 1184580 晶体管每天会出现20次错误 1184580 1186920 而不是几百万年才出现一次故障 1186920 1188940 整套系统会走向何方 1188940 1191680 制造工艺或许会迎来全新可能性 1191680 1193980 信号传输采用多条冗余通路 1193980 1196280 保障至少一路信号可以送达 1196280 1199500 这套逻辑和人脑神经信号传递十分相似 1199500 1202220 大脑信号传输本身就不是绝对可靠 1202220 1205220 重要信息就依靠多条通路同时传递 1205220 1208020 它并不是说当下就要落地这套方案 1208020 1210300 但是这类思想实验意义重大 1210300 1213500 要定期重新审视所有人习以为常的预设 1213500 1215120 回顾他的职业生涯 1215120 1219100 TPU的诞生就是推翻固有假设之后接触的果实 1219100 1221400 在问题还没有成为主流的时候 1221400 1223720 思考小众场景的专用硬件 1223720 1225420 MapReduce也是同理 1225420 1228000 团队厌倦了手工编写大量并行 1228000 1229840 容错相关的重复代码 1229840 1231920 于是提出全新抽象框架 1231920 1234340 上层只需要编写业务逻辑 1234340 1236920 底层统一处理并行调度和容错 1236920 1240040 最后成为谷歌大规模计算的核心底座 1240040 1241640 而这一切的源头 1241640 1243340 同样来自思想实验 1243340 1245700 现在有Alpha Chip辅助芯片布局 1245700 1248560 有Alpha UVO完成方案生成评估留存 1248560 1250620 整套AI制造AI的体系 1250620 1251900 正在逐步成型 1251900 1252880 广义来讲 1252880 1255320 这本质就是科学方法的自动化 1255320 1256380 提出假设 1256380 1257440 搭建环境 1257440 1258360 执行实验 1258360 1259380 评估结果 1259380 1261040 循环往复推进迭代 1261040 1262560 如今越来越多领域 1262560 1264200 可以把这套闭环自动化 1264200 1266100 一次性执行海量实验 1266100 1267520 压缩循环延迟 1267520 1268780 就变得格外关键 1268780 1271620 前提是评估器本身要足够快速 1271620 1273620 他举了一个十年之前的案例 1273620 1275300 同事研究量子化学 1275300 1276620 解析分子属性 1276620 1278480 传统密度泛含理论模拟器 1278480 1280060 跑一次就要耗费一整夜 1280060 1282540 团队收集大量输入输出样本 1282540 1284760 训练神经网络近似模拟器 1284760 1286500 速度提升30万倍 1286500 1288480 精度却几乎没有损失 1288480 1290220 彻底改写科研模式 1290220 1292320 从前筛选1000万候选分子 1292320 1294040 要耗费6个月筹备算力 1294040 1295580 现在一顿午饭的时间 1295580 1296760 就可以完成筛选 1296760 1299780 大量行业还有机会打造高速仿真模型 1299780 1300720 一旦实现 1300720 1303620 整个实验迭代周期就会被彻底重构 1303620 1305140 它最看好的方向 1305140 1307080 就是模型依靠大量实验 1307080 1308900 实现地规式自我改进 1308900 1310880 持续提升每一份算力 1310880 1312300 可以产出的新发现 1312300 1313900 对话推进到后半段 1313900 1315460 谈及职业路上的挫折 1315460 1316900 2014年杰弗蒂恩 1316900 1317960 杰弗里辛顿 1317960 1319400 奥里奥尔维尼亚尔斯 1319400 1321400 联合发布知识蒸馏论文 1321400 1323340 用大模型充当老师 1323340 1324860 小模型充当学生 1324860 1326120 得到体积更小 1326120 1327000 成本更低 1327000 1328600 同时效果优异的模型 1328600 1331000 如今整个行业都在广泛使用 1331000 1333700 但是这篇论文当年被NIPS聚稿 1333700 1335000 评审的观点认为 1335000 1336900 这项工作很难带来重大突破 1336900 1338060 杰弗迪恩表示 1338060 1339660 并不责怪评审委员会 1339660 1341320 对方站在学术视角 1341320 1344100 评判是否属于理论层面的重大突破 1344100 1346980 而团队清楚这件事巨大的工程价值 1346980 1349280 目标是降低模型服务成本 1349280 1350680 扩大落地场景 1350680 1353800 他们把论文上传到ARXV预印本平台 1353800 1355580 行业从业者阅读之后 1355580 1356640 大量落地使用 1356640 1358800 Gemini当中的Flash系列模型 1358800 1361920 就有一部分来自大尺寸Pro模型的蒸馏 1361920 1363660 在同规格模型当中 1363660 1365520 基准测试表现十分靠前 1365520 1367360 这件事带来的启示就是 1367360 1369040 就算成果遭到拒绝 1369040 1370280 也不要停下脚步 1370280 1371820 如果把1999年 1371820 1375140 刚刚加入只有20人规模谷歌的年轻杰弗迪恩 1375140 1377080 直接传送到2026年 1377080 1379340 他会选择大厂前沿实验室 1379340 1381020 还是选择自主创业 1381020 1382840 他表示没有标准答案 1382840 1384236 最核心的判断表现 1397036 1398616 创业公司风险更高 1398616 1400196 必须拥有极强的热情 1400196 1402036 但也可以收获极高的回报 1402036 1403776 无论选择哪一条道路 1403776 1404976 都要反问自己 1404976 1407016 如果项目走到最好的结局 1407016 1408876 世界会不会切实变好 1408876 1410436 如果仅仅只是很酷 1410436 1412396 就不值得投入大量时间 1412396 1414836 谈及如何寻找优秀的合作者 1414836 1416876 不仅要寻找专业能力过硬 1416876 1418196 技能互补的伙伴 1418196 1420896 也要选择相处起来足够愉快的人 1420896 1423836 创业路上要共同面对大量棘手难题 1423836 1425796 彼此的相处体验格外重要 1425796 1429816 小团队的魅力就是每个人掌握其他人不具备的能力 1429816 1433016 组合在一起可以完成单人无法实现的成果 1433016 1436236 要把自己的工程或者科研生涯当成一条工具腰带 1436236 1437956 持续补充新的工具 1437956 1441016 你永远预料不到未来会碰到什么样的难题 1441016 1442436 掌握的工具越多 1442436 1444816 可以解决的问题边界就越宽广 1444816 1446736 主持人抛出最后一个问题 1446736 1450436 他希望新一代创作者把精力投入到哪些方向 1450436 1451716 杰弗迪恩讲到 1451716 1453696 值得探索的问题数不胜数 1453696 1456336 他个人十分看好全新硬件路线 1456336 1458936 高效推理硬件拥有巨大价值 1458936 1461976 机器学习算法本身也还有巨大革新空间 1461976 1465196 比如数据效率远远高于当下的系统 1465196 1467836 现在大模型18岁阶段接触的数据总量 1467836 1470596 比人类18岁接触的信息多出1000倍 1470596 1472676 但是人类在大量任务当中 1472676 1474816 依旧可以持平甚至优于大模型 1474816 1477176 我们能不能打造数据效率更高 1477176 1480516 可以从自身行动当中持续学习的系统 1480516 1483196 持续学习本身就是极具价值的课题 1483196 1486176 多agent交互同样充满想象空间 1486176 1487896 把视角在向外延伸 1487896 1490396 如何促成人类之间更良性的对话 1490396 1492736 搭建工具帮助人们理性交流 1492736 1495276 帮助志趣相投的人建立连接 1495276 1497436 同样是值得深耕的方向 1497436 1498536 整场对话听完 1498536 1501376 不难感受到杰弗迪恩看待行业的独特视角 1501376 1504016 他不会空谈AGI什么时候到来 1504016 1505116 而是立足于能耗 1505116 1505936 数据搬运 1505936 1507796 延迟这些底层物理约束 1507796 1509676 向上推导系统设计逻辑 1509676 1510996 推导创业机会 1510996 1513556 全行业疯狂内卷模型参数的时候 1513556 1517156 他提醒大家数据搬运的成本是计算的1000倍 1517156 1520636 推理硬件专用化是下一轮效率跃升的关键 1520636 1523696 所有人焦虑通用模型吞噬创业机会 1523696 1527676 他告诉大家去寻找成功率0%到1%的赛道 1527676 1528996 挖掘私有数据 1528996 1530756 垂直专用模型的机会 1530756 1533116 所有人埋头打磨提示词的时候 1533116 1535856 他点名未来最稀缺的资源是品位 1535856 1537796 是筛选问题的判断力 1537796 1539996 这些认知不是凭空想象 1539996 1542096 来自几十年系统工程沉淀 1542096 1544176 来自一次次参金值演算 1544176 1546976 来自一次次推翻固有认知的思想实验 1546976 1549376 以上就是整场访谈的核心精华 1549376 1552436 如果你觉得这些来自一线工程大佬的思考 1552436 1553236 对你有启发 1553236 1554336 欢迎点赞 1554336 1557996 也可以把这期内容分享给身边做AI开发创业的朋友 1557996 1560236 一起跳出网络上的流量炒作 1560236 1562636 看见行业更真实的底层逻辑 1562636 1563836 我们下期再见