start end text 0 4240 最近這幾天,AI先出現了一個很反常的畫面。 4240 8760 Athropic的CEO達里奧阿莫迪發了一篇長文。 8760 13000 公開的呼應,全言AI應該放慢一點。 13000 17760 奧特曼說同意,馬斯克也說他是對的。 17760 23000 最愛搶速度的這三個人,突然都在談減速。 23000 27500 這聽起來像是三家公司握手停戰了。 27500 30120 可事实并不是这样的 30120 33160 他们只在安全评估上出现了交集 33160 35780 没有人承诺一起停讯 35780 38360 也没有约好下一代的模型 38360 39520 共同的延期 39520 43140 可这件事依然很重要 43140 46200 它会影响以后进入办公软件 46200 47140 学校 47140 48660 日常产品的AI 48660 51900 是更多的公司更快推出攻击 51900 53620 还是少数巨头 53620 55540 经过更长的审核之后 55540 57040 决定什么能上线 57040 61940 背后暴露的是今天Air竞赛最难解的一道题 61940 65340 谁都不敢递一个松开油门 65340 70380 但谁都害怕有人把整条赛道给撞毁了 70380 73560 想象三只登三队正在站第一 73560 75940 任何一队单独停下 75940 78600 另外两队都可能先登顶 81480 83800 可画面已经进入了风险期 83800 85940 任何一队走错了一步 85940 88800 都可能把风险扩散给所有人 88800 91180 这个时候呢 91180 94900 三个队伍都会支持一条共同的安全线 94900 96620 问题是 96620 99360 这条线究竟在降低风险 99360 102780 还是在顺便把已经走在前面的队伍 102780 105000 留在最有力的位置呢 105000 108040 这才是阿莫迪这篇文章 108040 109700 真正值得看的地方 110980 112860 不是气口几个英文单词 112860 116220 也不急着把他判成好人或坏人 116220 121020 真正要看清的是他们想让什么慢下来 121020 122640 谁为减速付钱 122640 127760 这道归族会不会让后来的人更难追上呢 127760 130800 先看阿木迪到底提了什么 130800 133120 他的方案大致分三步 133120 134520 第一步 134520 137080 让外部的评估人员在法力 137080 139220 合同和隐私边界内 139220 142080 长期获得接近员工的访问能力 142080 145640 查看前沿AI公司的内部系统和记录 145640 147380 第二步 147380 150680 先在美国和其他愿意合作的地区 150680 152760 协调前沿AI安全标准 152760 154540 第三步 154540 158300 再尝试把这种协调扩展到全球 158300 160340 他也专门强调 160340 164240 所谓的放慢并不等于停止模型的信念 164240 167020 更不等于停止技术的进步 168120 170920 这句话很容易让人产生一个印象 170920 172600 训练照常 172600 175100 只有模型发布会被管住 175100 176980 可继续往下看 176980 178620 事情没有这么简单 178620 182120 阿莫迪同时把训练流程 182120 185700 训练算力和一次一次大规模的训练任务 185700 188780 都列成了未来可能采用的政策攻击 188780 194100 所以他提的不是一张已经写好的限速令 194100 198000 而是一套还在等待填空的制度框架 198000 200280 它可以很轻 200280 202680 只要求公司保存记录 202680 204380 接受外部的测试 204380 206440 也可以很重 206440 208980 模型能力和训练规模 208980 210660 一旦达到某个门槛 210660 213260 公司就得停下来接受检查 213260 217480 这两种版本对行业的影响完全不同 217480 222300 前一种更像是给飞机增加黑匣子和年检 222300 224740 飞机仍然可以飞 224740 227560 只是起飞前要多做检查 227560 232980 而另一种则可能直接限制飞机能装多大的发动机 232980 234740 一次能飞多延 234740 237320 把这两种情况混在一起 237320 241420 就会误判整个Air产业接下来会发生什么 241420 247320 为什么偏偏是Azropik先站出来呢 247320 250160 第一层原因并不神秘 250160 253700 安全一直是Azropik最重要的品牌 253700 259820 也是他和OpenAir XAir争夺企业客户时最鲜明的标签 259820 262740 全员模型被接近攻击 262740 265740 代码执行环境和企业数据之后 265740 270840 越来越常被做成能够执行多部任务的智能体 270840 272580 能力也强 272580 275000 只有公司自己宣布安全 275000 277360 就越难让外界幸福 277360 280720 让独立的人员进入内部系统 280720 283300 查看测试记录和真实的运行情况 283300 285260 确实有现实价值 285260 290380 因为很多问题不是做一次公开测评就能发现的 290380 293600 模型在实验室测评中表现正常 293600 298720 不代表由它工具权限和业务数据组成的系统 298720 303700 接入代码库、浏览器或者企业数据库之后仍然正常 303700 307780 评估着如果只能看公司挑好的演示 308120 312420 也很难知道展示范围之外遗漏了什么失败的记录 312420 314740 但看得到记录 314740 317420 不等于已经测得出所有的危险 317420 319200 更难的是 319200 322380 测试能不能覆盖模型换了工具 322380 325820 前线和任务之后出现了新的行为 325820 327920 以及谁有前线 327920 330840 判定风险已经高到了必须停下来 330840 333580 但还有第二层的原因 333580 335820 谁先提出标准 335820 338700 谁就有机会影响标准怎么写 338700 342860 Athropics已经有成熟的安全团队 342860 345220 测试流程和对外的稀释 345220 347920 他今天主动承诺的事情 347920 351740 可能本来就是他比很多小公司更擅长 351740 353580 更有自然完成的事情 353580 358140 一旦这些能力变成全行业的法定要求 358140 361340 那Athropics既获得了可信度 361340 363620 也获得了规则的话语钱 363620 368300 这里先不急着把安全判断成纯粹的包装 368300 371180 真实世界最麻烦的地方 371180 373760 恰恰是两件可以同时成立 373760 377740 阿莫迪可以真的担心前沿AI失控 377740 380360 也可以希望未来的行业规则 380360 383900 更接近埃斯托匹克已经建好的那套能力 383900 386260 安全收益是真的 386260 389300 商业优势也可以是真的 389300 394420 那么长期针锋相对的奥特曼 394420 396460 为什么也愿意跟进呢 396460 399100 因为他公开接受的 399100 401680 首先是最容易形成共识的部分 401680 403600 奥特曼说 403600 407020 他同意需要为前沿的能力控制节奏 407020 409880 也同意让独立的测评者 409880 412360 获得接近员工级的访问前线 412360 414240 OpenAI会照做 414240 416120 到这里为止 416120 418980 他支持的是透明度和评估的方向 418980 420880 并没有公开的接受 420880 423640 阿姆迪文章里的每一项制度的设计 423640 425740 这对OpenAI来说 425740 428300 也是一种低成本但有价值的表态 428300 432040 他不需要当场的承诺停掉哪次的训练 432040 436160 且能证明自己没有站在安全讨论的对立面 436160 438100 更重要的是 438100 440740 未来的规则还没有写完呢 440740 443400 OpenA现在加入讨论 443400 446300 就有机会参与决定评估什么 446300 447780 何时触发 447780 449580 出了问题怎么处理 449580 453340 而不是等竞争对手先写出了标准 453340 454780 再被动的接受 454780 457240 马斯克的表态更短 457240 459720 只有达里奥是对的 459720 462800 这能证明他认同阿莫迪提出的问题 462800 466320 不能证明他已经同意永久凭无言 466320 468120 政府强制标准 468120 470520 或者某个共同的训练上限 470520 473780 把这三个人包装成正式的联盟 473780 475580 袭击性很强 475580 477160 准切先切不够 477160 481440 马斯克的位置还比一级竞争对手更复杂 481989 491309 馬爾斯克的位置還比一級競爭對手更複雜。Xair已經併入了SpaceX,而Aceropic又公開使用了SpaceX提供的Glosses算力。 491309 492469 也就是说 492469 495449 双方一边在前沿模型上竞争 495449 498749 一边又存在基础设施的交易 498749 503549 这个关系能解释为什么他们并非简单的敌我两边 503549 506449 且仍然不能证明马斯克的表态 506449 509849 来自某项共同的商业安排 509849 514469 可他们为什么连这种有限支持都愿意给呢 514469 517169 因为一次严重事故造成的损失 517169 520909 很可能不会只落在出事的公司身上 520909 524949 如果一个前沿智能体造成大范围的安全问题 524949 529949 和公众、客户和政府把它视为行业的风险 529949 534309 受损的就不只是一家公司的生意了 534309 538069 事故未必让所有公司承担相同的损失 538069 544969 但它可能抬高整个行业的审查、采购和许可的成本 544969 546109 换句话说 546109 549069 模型能力是各家的私有收益 549069 553229 重大事故却可能变成前行业共同承担的成本 554629 558069 三个竞争者可以继续的相互抢客户 558069 564429 但他们都有理由防止某一家快速消耗整个行业的公共信任 564429 567009 还有一个更现实的原因 567009 568709 单独减速很贵 568709 570769 共同接受最低检查线 570769 573009 且便宜得多 573009 576069 假如OpenAI独自推迟训练 576069 579829 而Astropic和XAI继续前进 579829 583869 OpEN也可能很快就丢掉能力领先了 583869 585789 反过来也一样 585789 589149 没有人愿意成为唯一停下来的人 589149 591709 所以对头部竞争者而言 591709 593069 最理想的安排 593069 595589 往往是一套大家都要遵守 595589 599389 而且成本足够对称的规则 599389 603669 这就是这场罕见铜像背后的第一层答案 603669 605909 它们不是突然不竞争了 605909 610509 而是想把要不要减速从一家公司的道德选择 610509 614909 变成主要竞争者共同面对的制度问题 614909 618289 只有在成本足够对称的条件下 618289 619689 先讲安全的一方 619689 624269 才不容易因为单边承担代价而先输掉比赛 624269 628869 不过真正的较量也从这里才开始 628869 632569 因为大家都接受检查听起来是很公平的 632569 635569 同一张检查表落在不同公司身上 635569 637469 成本可能完全不同 637469 640409 一套持续的外部评估 640409 643049 不只是请几个人来办公室看模型 643049 646109 它要保存训练和事故的日志 646109 647969 控制访问前线 647969 650209 安排独立的测试 650209 651809 还要处理客户数据 651809 652989 商业机密 652989 655589 以及由谁来承担法律责任 655589 657909 发现危险结果之后 657909 659369 要推迟发布 659369 660569 限制功能 660569 664029 还是允许公司解释之后继续上线 664029 665669 也都要有流程 665669 670089 对资源更充足的前沿公司来说 670089 673289 这类要求更可能建立在既有安全 673289 675529 法务和基础设施之上 675529 677969 对资源较少的团队 677969 679789 同样的固定流程 679789 682669 更可能占起了更高比例的研发议算 682669 686209 到底差多少 686209 688349 还要看评估的频率 688349 690849 保密要求和责任的规则 690849 694749 设想两家公司同时做出一个 694749 697029 能够自动修改代码的智能体 697029 700329 头部公司可以在现有的团队上 700329 702429 增加测试和法力审查 702429 705589 资源有限的团队面对的 705589 707729 却可能不只是多花一笔钱 707729 711849 而是合规的周期测试能力和法力责任 711849 714329 会不会错过它的产品窗口 714329 717949 规则如果不按能力和风险分级 717949 721029 原本有竞争能力的团队 721029 722849 也可能把大量的资源 722849 724769 从研发转器补文档 724769 726749 测试和责任的准备 726749 728589 这种差别 728589 731489 最后也会落到普通人使用的AI上 731489 733529 大公司的产品 733529 736069 会更容易获得经过检查的标签 736069 737589 进入办公软件 737589 739489 学校和企业系统 739489 742089 小团队更大胆 742089 743669 更便宜的工具 743669 746309 则可能长期停在测试阶段 746309 749909 用户得到的产品或许更安全 749909 752269 但选择也可能更集中 752269 755469 价格和功能有更少的公司结定 755469 759989 这就是安全规则最容易变成竞争门槛的地方 759989 763749 不是因为门槛这两个字天然的邪恶 763749 767389 而是固定成本往往会对小公司更重 767389 770569 它是否最终会变成护城河 770569 773849 还要看规则能不能减少重复审计 773849 777809 能不能让合格的小团体也拿到客户认可的证明 777809 779849 反过来讲 779849 782829 按能力和实际前线分级的规则 782829 784889 也可能帮助创新 784889 789169 小团队如果能使用共享的测试设施 789169 792189 有清楚的研究和开源责任边界 792189 795989 并提前知道哪些能力需要什么证明 795989 798109 就不用在每次发布前 798109 800389 才规则会不会临时的改现 800389 802909 真正商创新的 802909 805469 往往不只是标准的严格 805469 807109 而是标准模糊 807109 808289 不可复减 808289 810769 又只对后来者严格 810769 814349 所以判断这套倡议 814349 816889 是安全护栏还是头部的护城河 816889 820329 不应该靠猜阿莫迪心里想什么 820329 822509 不用记住所有的细节 822509 824269 只盯住一件事 824269 826529 规则的成本和约束 826529 830729 有没有对称的落到提出规则的头部公司身上 830729 832569 下面四个问题 832569 834789 都是检查这一件事的 834789 835389 第一 835389 838129 规则是否同样耶稣提出者 838129 840629 如果小公司发布模型 840629 842209 要先等好几个页 842209 844969 头部公司训练更大的模型 844969 848329 是不是也要接受同样严格的检查呢 848329 849669 第二 849669 851769 评估人员有谁选择 851769 852749 有谁付钱 852749 856789 如果公司可以随时的更换不满意的评估者 856789 858609 那所谓独立 858609 861029 就很容易只剩下一个名字了 861029 862649 第三 862649 865929 负面结果能不能独立的保存和披露 865929 867949 如果发现了问题 867949 871789 最后仍然只能由评估公司来决定是否公开 871789 874869 那外部人员更像是高级顾问 874869 876989 不像是真正的监督者 876989 878649 第四 878649 882109 小团队有没有负担得起的合规路径 882109 886329 如果标准知写所有人一视同仁 886329 888649 且不管同一笔高额的成本 888649 890649 对不同公司的陷阱流 890649 892049 意义完全不同 892049 894589 那形式上的平等 894589 897229 就可能变成了结果上的封锁 897229 899629 到这里呢 899629 901549 主线已经很清楚了 901549 904369 安全风险给了共同规则正当性 904369 906249 单边减速的代价 906249 908869 让竞争者愿意谈统一规则 908869 910969 头部公司的自言 910969 914029 又让他们更能够承受规则的成本 914029 916689 先把产业结论交出来 916689 921249 这份倡议不会自动砍掉AI的芯片和资本开支 921249 925769 只有规则把训练规模也纳住了强制的门槛 925769 928749 那影响才会传到基础设施 928749 931249 如果只是独立的评估 931249 934649 首先增加的是合规成本和上限的时间 934649 937649 那接下来才是最关键的问题 937649 940209 如果美国政府真的采纳 940209 942569 AI行业会发生什么呢 943369 945929 这里至少有三种完全不同的结果 945929 948429 在战事规则出现之前 948429 952249 企业表态最多只能形成自研的业数 952249 954929 覆盖哪些公司 954929 956729 能力门槛画在哪 972088 974508 事故记录和发布前检查 974508 976068 这样的规则 976068 979628 首先托慢模型上线和高风险功能的开放 979628 982368 不一定会托慢底层的训练 982368 985008 公司仍然可以购买芯片 985008 986428 建设数据中心 986428 988088 训练下一代的模型 988088 990828 只是产品走出实验室前 990828 992748 要多过几道检查 992748 994988 这会增加成本 994988 998148 但未必会让AI能力停止增长 999148 1000388 有些案件测试 1000388 1004228 对抗测试和监控还是会消耗算力的 1004228 1007508 但能否抵消掉训练和部署的变化 1007508 1009088 要看最终的规则 1009088 1011488 第二种规则更重 1011488 1014628 政府按照模型能力设置检查点 1014628 1017768 达到某个水平就必须取得许可 1017768 1020208 或者接受更长时间的审查 1020208 1021988 这样一来 1021988 1026588 竞争可能不再是只看谁先把模型做出来 1026588 1029588 还要看谁既能做出来 1029588 1030488 又有钱 1030488 1031368 有记录 1031368 1033328 有团队通过检查 1033328 1037348 头部公司的领先可能因此更加稳定了 1037348 1040368 因为他们不仅拥有更多的芯片 1040368 1043348 也更早建设了安全和法律体系 1043348 1047068 第二梯队即使在算法上追得很近 1047068 1048728 也可能在记录 1048728 1051848 人员和责任保险上被拉开 1053148 1054748 开研项目尤其麻烦 1054748 1058288 因为它没有传统公司那样清晰的控制中心 1058288 1060408 谁负责提交评估 1060408 1062608 谁对下游修改负责 1062608 1064608 都可能成为争议 1064608 1068048 第三种才是真正意义上的产业结束 1068048 1071168 如果规则直接限制了训练算力 1071168 1072328 训练任务 1072328 1075388 或者把用AI改进AI的流程纳入门槛 1075388 1079448 那么大模型极型的排气会受到影响 1080088 1083108 下一代模型的训练计划也可能被推迟 1083108 1088448 这时候政策才会从发布端一路传达到芯片 1088448 1091368 引服务 电力和数据中心 1091368 1093848 把它翻译成人话 1093848 1098008 全两种主要改变新功能什么时候上线 1098008 1100308 谁来承担合规的成本 1100308 1106008 只有第三种才会直接碰到芯片订单和数据中心的建设 1108228 1109088 问题在意 1109088 1112348 阿莫迪现在提出的是一组可选的工具 1112348 1115608 并不是已经写进法律的第三种方案 1115608 1119768 今天就宣布AI资本开支会大幅的收缩 1119768 1121568 芯片需求会消失 1121568 1124488 和宣布什么时候不会改变一样 1124488 1128888 都是把尚未决定的细节当成了确定的结果 1128888 1131408 如果只有美国公司执行 1131408 1134328 其他地区不跟又会怎么样呢 1134328 1136168 最直接的担心是 1136168 1137788 美国公司慢下来 1137788 1139368 其他地方继续追赶 1139368 1141668 这个风险确实存在 1141668 1143188 阿穆迪也承认 1143188 1145328 完整的全球协调 1145328 1146928 短期内很难实现 1146928 1149508 但结果也不会简单到 1149508 1151068 谁不监管谁就赢 1151068 1153928 因为前沿AI模型需要芯片 1153928 1155028 数据中心 1155028 1155788 电力 1155788 1156548 资金 1156548 1158888 客户和稳定的供应链 1158888 1161208 规则更宽松 1161208 1163888 不代表这些资源立刻的补齐 1163888 1165648 反过来 1165648 1168168 如果美国的规则昂贵又模糊 1168168 1172368 人才和项目寻找其他弱点的动力就会增加 1172368 1177068 美国公司也可能推动大型客户和银平台 1177068 1179048 采用同一套的评估标准 1179048 1183168 让本国的规则逐渐变成国际的门槛 1183168 1185068 能否做到 1185068 1187248 要看标准是否透明 1187248 1188528 能否复验 1188528 1192428 也要看其他市场有没有可信的替代方案 1192428 1196068 所以真正难谈的不是安全重不重要 1196068 1199728 而是谁愿意把训练计划交给外部检查 1199728 1202548 谁接受负面的结果公开 1202548 1207108 谁愿意在竞争者不配合时仍然推迟模型 1207108 1210968 芯片和资本开支到底会不会减速 1210968 1212728 不能靠口话判断 1212728 1218908 Azorvik,OpenAI以及SpaceX和XA所在的体系 1218908 1220748 都在扩大基础设施 1221468 1224848 但扩建不能证明他们绝不会调整训练 1224848 1229608 倡议也不能证明已经签下的安排一定会奇效 1229608 1231328 阿莫迪认为 1231328 1235528 部分风险可能在未来6到12个月内迅速的升级 1235528 1240588 可数据中心云容量和电力工程按的是多年的规划 1240588 1243908 软件发布几周内就能改期 1243908 1248568 编电站机房和芯片交付却没有那么灵活 1250988 1252788 外界又看不到完整的合同 1252788 1254788 所以更准确的问题是 1254788 1256828 如果真的放缓了 1256828 1260308 会先在哪类公开的记录里留下痕迹呢 1260308 1263568 第一章是模型训练和发布表 1263568 1266088 下一代模型是否延期 1266088 1268788 危险功能是否推迟的开放 1268788 1271068 已经完成的训练的模型 1271068 1273528 是否增加更长的验证器 1273528 1278088 第二章是云厂商和数据中心的资本开支表 1278088 1281348 企业是否调整新增的机型 1281348 1284008 电力容量和机房建设的指引 1284008 1287188 只有这一层出现了持续变化 1287188 1290388 减速那才开始传达到基础设施 1290388 1294368 第三章是容量合同和芯片交付表 1294368 1298448 公开可核印的延期缩减或取消 1298448 1302568 会是安全主张开始触及真金白印的强信号 1302568 1305128 其他合同能否调整 1305128 1306968 是否已经安排重排 1306968 1309488 外界未必看得到 1309488 1312428 现阶段不能因为一计放慢 1312428 1314808 就依判半导体产业急转慢 1314808 1318548 假如政策只要求更多的评估 1318548 1320828 测试、监控和验证 1320828 1323428 可能带来一部分算力的需求 1323428 1326408 但能否抵消训练段的变化 1326408 1328988 要看规则强度和企业的部署 1328988 1331928 只有直接限制训练算力 1331928 1335248 才更可能改变芯片订单和数据中心的建设 1335248 1337108 回到开头 1337108 1340148 三位竞争者不是突然变成盟友 1340148 1343068 也不能简单说成是联手社级 1343068 1345808 他们看见了共同的风险 1345808 1348828 又不愿意独自的承担减速的代价 1348828 1351208 阿穆迪先提出规则 1351208 1353548 奥特曼接受独立评估 1353548 1355988 马斯克只认同了方向 1355988 1359208 三个人究竟愿意付出什么代价 1359208 1360988 还没有完整的答案 1362268 1365048 这套倡议可能减少真实的风险 1365048 1368848 也可能把合规的成本变成新的竞争壁垒 1368848 1371468 真正决定他性质的 1371468 1374168 不是CEO说的多诚恳 1374168 1378308 而是规则有没有对称的落到他们自己身上 1378308 1382048 以后再看到哪家AI公司呼一方慢 1382048 1383668 不必急着相信 1383668 1385368 也不必急着嘲笑 1385368 1387628 先看三类动作 1387628 1390988 事故记录是否真的交给独立者 1390988 1394108 模型训练和发布是否真的调整 1394108 1399148 算力与资本计划是否出现了可验证的变化 1399148 1403368 如果只看到入口越来越严 1403368 1406068 且看不到头部公司的训练和发布 1406068 1407448 承担对称的代价 1407448 1411608 那它更像是再重新安排谁能做上前排 1411608 1414608 如果三类动作相互印证 1414608 1416848 而且能和规则要求对应 1416848 1418648 那会是更强的证据 1418648 1423268 说明减速成本开始落到头部公司自己身上 1423268 1426248 至于资本计划是否改变 1426248 1429848 还要看规则最终有没有触及到训练的规模 1429848 1435128 普通使用者也可以把这套方法说成三个问题 1435128 1437008 谁做了评估 1437008 1439328 出了问题能不能查到记录 1439328 1442648 限制是不是对所有公司都一样 1442648 1447368 你最希望这些公司先公开哪一类的记录呢 1448048 1449168 是训练计划 1449168 1450348 事故记录 1450348 1452508 还是算力合同的调整呢 1452508 1455628 你觉得这三巨头是真的在为 1455628 1457108 全人类的安全担忧 1457108 1459628 还是在联手给后来者 1459628 1461428 挖坑修城墙呢 1461428 1463068 评论区聊一聊 1463068 1464848 记得点赞订阅 1464848 1465868 打开小铃铛 1465868 1467848 咱们下期再见