WEBVTT
Kind: captions
Language: zh

00:00:00.133 --> 00:00:02.533
一颗采用12纳米工艺的芯片

00:00:02.566 --> 00:00:04.200
竟然在人工智能推理

00:00:04.200 --> 00:00:06.500
测试里压过了4纳米GPU

00:00:06.666 --> 00:00:08.366
它没有最先进的制程

00:00:08.600 --> 00:00:10.366
没有昂贵的HBM

00:00:10.400 --> 00:00:12.166
也不能训练大模型

00:00:12.266 --> 00:00:14.533
却在某些任务上跑得更快

00:00:14.666 --> 00:00:15.700
耗电更少

00:00:15.766 --> 00:00:17.866
听起来像IBM突然找到了

00:00:17.866 --> 00:00:19.400
击败英伟达的捷径

00:00:19.866 --> 00:00:21.366
但真正的问题是

00:00:21.366 --> 00:00:23.100
如果north pole这么强

00:00:23.200 --> 00:00:24.933
为什么它到现在仍然

00:00:24.933 --> 00:00:26.700
只是一款研究原型

00:00:26.866 --> 00:00:29.000
答案藏在它最强的优势里

00:00:29.000 --> 00:00:31.533
也藏在它最难绕开的限制里

00:00:31.533 --> 00:00:33.400
这颗芯片叫north pole

00:00:33.966 --> 00:00:37.300
IBM在2023年正式公开它时

00:00:37.333 --> 00:00:38.533
给出的规格并

00:00:38.533 --> 00:00:40.500
不符合当时的主流叙事

00:00:40.800 --> 00:00:42.100
12纳米工艺

00:00:42.300 --> 00:00:44.133
220亿个晶体管

00:00:44.300 --> 00:00:45.900
256个核心

00:00:46.200 --> 00:00:49.266
芯片面积约795平方毫米

00:00:49.400 --> 00:00:50.866
放在一个人人都盯着

00:00:50.866 --> 00:00:53.266
4纳米3纳米的行业里

00:00:53.566 --> 00:00:55.966
12纳米看起来甚至有些落后

00:00:56.066 --> 00:00:59.000
可IBM偏偏用这颗旧制程芯片做出

00:00:59.000 --> 00:01:01.333
了一组让人无法忽略的数据

00:01:01.400 --> 00:01:04.333
在Resnet50图像分类和YOLO

00:01:04.333 --> 00:01:06.200
V4目标检测测试中

00:01:06.533 --> 00:01:10.133
north pole相对采用相近12纳米工艺的GPU

00:01:10.533 --> 00:01:12.900
实现约25倍的每瓦增速

00:01:13.133 --> 00:01:15.566
约5倍的每晶体管处理效率

00:01:15.733 --> 00:01:18.100
以及约22倍更低的延迟

00:01:18.333 --> 00:01:19.666
IBM还表示

00:01:19.700 --> 00:01:21.533
它在这些限定任务上

00:01:21.533 --> 00:01:23.466
连采用更先进4纳米

00:01:23.466 --> 00:01:25.666
工艺的GPU也能压过去

00:01:25.700 --> 00:01:27.800
先纠正一个流传很广的说法

00:01:28.166 --> 00:01:30.266
22倍并不是每一单位

00:01:30.266 --> 00:01:32.533
能量多完成22倍工作

00:01:32.600 --> 00:01:35.966
IBM公开论文里的22倍指的是

00:01:35.966 --> 00:01:39.100
相对可比12纳米GPU的延迟优势

00:01:39.333 --> 00:01:41.533
能效指标是约25倍

00:01:41.600 --> 00:01:43.366
把延迟和能效混成

00:01:43.366 --> 00:01:45.533
一句话会让数字更刺激

00:01:45.766 --> 00:01:47.466
却也会误导观众

00:01:47.933 --> 00:01:50.066
north pole确实很快很省电

00:01:50.133 --> 00:01:52.400
但正确理解这些成绩比

00:01:52.400 --> 00:01:54.800
重复一个夸张数字更重要

00:01:54.933 --> 00:01:56.866
对north pole更重要的是

00:01:57.266 --> 00:02:00.100
制程从来不是芯片表现的唯一答案

00:02:00.500 --> 00:02:03.066
先进制程可以让晶体管更小

00:02:03.166 --> 00:02:05.900
通常也有利于密度性能和功耗

00:02:06.100 --> 00:02:08.000
但如果一套架构把大量

00:02:08.000 --> 00:02:10.100
电力耗在搬运数据上

00:02:10.266 --> 00:02:13.133
再先进的晶体管也只能缓解问题

00:02:13.266 --> 00:02:14.800
不能让问题消失

00:02:15.200 --> 00:02:17.166
north pole真正供给的

00:02:17.366 --> 00:02:20.066
正是现代AI计算最昂贵

00:02:20.366 --> 00:02:21.900
也最不容易被普通

00:02:21.900 --> 00:02:23.400
用户看见的一部分

00:02:23.666 --> 00:02:24.733
数据移动

00:02:25.000 --> 00:02:28.133
传统计算机长期遵循冯诺依曼架构

00:02:28.466 --> 00:02:29.933
处理器负责计算

00:02:30.066 --> 00:02:31.733
内存负责存数据

00:02:31.866 --> 00:02:33.066
两者分开

00:02:33.200 --> 00:02:34.966
处理器需要一组权重

00:02:35.166 --> 00:02:36.400
就去内存取

00:02:36.566 --> 00:02:37.900
算完产生结果

00:02:37.900 --> 00:02:39.333
再把结果送回去

00:02:39.533 --> 00:02:41.800
这个循环每秒发生无数次

00:02:41.900 --> 00:02:44.133
早期软件的计算量有限

00:02:44.366 --> 00:02:46.266
这种分工足够通用

00:02:46.266 --> 00:02:47.500
也足够灵活

00:02:47.933 --> 00:02:50.366
但神经网络把问题放大了

00:02:50.700 --> 00:02:53.566
AI推理里的单次运算并不神秘

00:02:54.100 --> 00:02:56.566
大量工作只是乘法和加法

00:02:56.733 --> 00:02:58.400
真正可怕的是数量

00:02:58.966 --> 00:03:00.533
以及每一次运算都要

00:03:00.533 --> 00:03:02.133
及时拿到正确数据

00:03:02.333 --> 00:03:04.533
GPU的计算能力增长很快

00:03:04.933 --> 00:03:07.600
内存带宽却没有以相同速度增长

00:03:07.766 --> 00:03:09.700
于是计算单元越来越像

00:03:09.700 --> 00:03:11.566
一座扩建过渡的工厂

00:03:11.766 --> 00:03:12.800
机器很多

00:03:12.866 --> 00:03:14.333
原料却还在路上

00:03:14.666 --> 00:03:16.266
GPU加入HBM

00:03:16.266 --> 00:03:18.766
就是给工厂修更宽的高速公路

00:03:18.800 --> 00:03:20.466
但高速公路昂贵

00:03:20.566 --> 00:03:21.566
封装复杂

00:03:21.566 --> 00:03:23.066
也会持续耗电

00:03:23.333 --> 00:03:25.900
north pole提出的不是把路再拓宽

00:03:25.900 --> 00:03:28.266
而是把仓库直接搬进工厂

00:03:28.566 --> 00:03:31.666
north pole把分布式SRAM放进芯片内部

00:03:31.733 --> 00:03:34.266
让每个核心旁边都有本地内存

00:03:34.666 --> 00:03:38.066
整颗芯片共有192兆分布式SRAM

00:03:38.266 --> 00:03:41.533
片上内存带宽达到约13太字节每秒

00:03:41.666 --> 00:03:43.400
模型权重和中间数据

00:03:43.400 --> 00:03:45.166
尽量留在芯片内部

00:03:45.200 --> 00:03:46.933
只有输入和最终结果

00:03:46.933 --> 00:03:48.600
需要跨过芯片边界

00:03:49.133 --> 00:03:51.966
IBM负责人darmendramoda把它形容为

00:03:51.966 --> 00:03:54.500
一个完整网路装在一颗芯片上

00:03:54.566 --> 00:03:56.466
这句话听起来像宣传

00:03:56.866 --> 00:03:59.133
但很准确的概括了设计目标

00:03:59.266 --> 00:04:00.933
让计算靠近数据

00:04:01.066 --> 00:04:03.066
把搬运距离压到最低

00:04:03.266 --> 00:04:06.733
芯片内部的256个核心并不是一群

00:04:06.733 --> 00:04:09.366
等待中央调度器发号施令的通用

00:04:09.366 --> 00:04:10.166
工人

00:04:10.600 --> 00:04:11.966
Northpoole会提前由

00:04:11.966 --> 00:04:13.966
编译器安排数据怎么走

00:04:14.133 --> 00:04:15.533
计算何时发生

00:04:15.566 --> 00:04:17.566
各个核心做哪一段任务

00:04:17.766 --> 00:04:20.700
运行时不需要不断判断下一步

00:04:20.733 --> 00:04:23.066
也没有复杂的数据依赖分支

00:04:23.300 --> 00:04:24.800
它牺牲动态调度

00:04:24.966 --> 00:04:28.100
换来更高利用率和更可预测的执行

00:04:28.166 --> 00:04:30.166
这里出现了第一个关键转折

00:04:31.066 --> 00:04:34.000
Northpo并不是一块更好的通用GPU

00:04:34.200 --> 00:04:35.666
它是一块把自己限制

00:04:35.666 --> 00:04:37.266
的很死的推理芯片

00:04:37.600 --> 00:04:39.466
它不支持大模型训练

00:04:39.700 --> 00:04:42.400
训练需要前向计算反向传播

00:04:42.500 --> 00:04:45.100
梯度更新和频繁变化的数据流

00:04:45.266 --> 00:04:47.666
需要高度灵活的内存与调度

00:04:48.333 --> 00:04:51.366
Northpole从设计之初就放弃这些能力

00:04:51.500 --> 00:04:53.966
只专注神经网络的前向推理

00:04:54.000 --> 00:04:56.566
这条路线并不是IBM突然想到的

00:04:57.300 --> 00:04:59.533
north pole之前还有true north

00:04:59.766 --> 00:05:01.733
IBM团队从2,000年代

00:05:01.733 --> 00:05:04.300
开始研究类脑计算得到过

00:05:04.300 --> 00:05:07.866
美国国防高级研究计划局Synaps项目

00:05:07.866 --> 00:05:08.666
支持

00:05:09.000 --> 00:05:11.266
Truenorth在2014年公开

00:05:11.366 --> 00:05:13.000
强调用大量低功耗

00:05:13.000 --> 00:05:15.166
神经元核心处理感知任务

00:05:15.300 --> 00:05:18.000
它展示了类脑芯片可以极省电

00:05:18.366 --> 00:05:21.500
却也受限于编程方式和适用模型

00:05:22.400 --> 00:05:24.366
Northpoole继承了让数据待

00:05:24.366 --> 00:05:26.066
在计算附近的思想

00:05:26.366 --> 00:05:28.466
但没有照搬生物神经元

00:05:28.733 --> 00:05:30.666
它转向更适合现代深度

00:05:30.666 --> 00:05:33.333
网路的数字计算和张量操作

00:05:33.466 --> 00:05:35.533
从true north到Northpoole

00:05:35.600 --> 00:05:37.400
真正变化的是目标

00:05:38.066 --> 00:05:40.700
Truenorth更像在探索机器能否用

00:05:40.700 --> 00:05:43.266
接近大脑的稀疏方式处理感知

00:05:43.700 --> 00:05:45.366
Northpole则直接瞄准

00:05:45.366 --> 00:05:46.800
部署中的效率问题

00:05:46.900 --> 00:05:48.366
它不要求开发者接受

00:05:48.366 --> 00:05:50.400
一种完全陌生的神经网络

00:05:50.500 --> 00:05:52.700
而是尝试运行常见卷积

00:05:52.700 --> 00:05:54.966
网络和经过适配的Transformer

00:05:56.066 --> 00:05:57.666
类脑灵感保留下来

00:05:57.700 --> 00:06:01.100
工程路径却更接近现代AI加速器

00:06:01.133 --> 00:06:03.366
这段历史解释了为什么Northpoole

00:06:03.366 --> 00:06:05.566
很难用普通显卡思路评价

00:06:05.900 --> 00:06:08.100
他不是把更多单元塞进芯片

00:06:08.166 --> 00:06:09.966
也不是单纯提高频率

00:06:10.133 --> 00:06:12.266
他先设定10条架构原则

00:06:12.333 --> 00:06:14.800
再围绕推理重新组织芯片

00:06:14.900 --> 00:06:16.366
没有运行时调度

00:06:16.600 --> 00:06:18.133
没有外部内存依赖

00:06:18.333 --> 00:06:20.200
控制分散到各个核心

00:06:20.533 --> 00:06:22.800
每条原则都在减少通用性

00:06:22.933 --> 00:06:25.533
同时压低数据移动和控制开销

00:06:25.700 --> 00:06:27.366
这个取舍并不愚蠢

00:06:27.566 --> 00:06:29.666
一个模型可能只训练几轮

00:06:30.000 --> 00:06:32.866
却要被调用几百万几亿次

00:06:33.066 --> 00:06:35.000
训练决定模型怎么形成

00:06:35.266 --> 00:06:37.733
推理决定它一生消耗多少电

00:06:37.766 --> 00:06:39.133
如果某种架构能把

00:06:39.133 --> 00:06:40.666
高频推理做到极致

00:06:41.000 --> 00:06:43.166
即使训练仍然交给GPU

00:06:43.200 --> 00:06:45.100
它也可能在AI基础设施

00:06:45.100 --> 00:06:47.000
里占据非常大的位置

00:06:47.266 --> 00:06:49.533
north pole押注的正是这件事

00:06:50.066 --> 00:06:51.800
不去争夺所有工作

00:06:51.966 --> 00:06:54.933
只吃下重复次数最多的那一段

00:06:55.066 --> 00:06:57.866
IBM后来把测试从图像

00:06:57.866 --> 00:06:59.733
模型推进到语言模型

00:07:00.166 --> 00:07:02.400
研究团队从Granit Bobby Codebase

00:07:02.400 --> 00:07:04.500
改造出一个约30亿参数

00:07:04.600 --> 00:07:06.400
14层Transformer的模型

00:07:06.466 --> 00:07:08.566
再把14个Transformer层分别

00:07:08.566 --> 00:07:10.733
映射到14张north pole卡

00:07:10.933 --> 00:07:13.300
输出层放到另外两张卡上

00:07:13.566 --> 00:07:17.600
16张卡通过Pcie组成一台普通2U服务器

00:07:17.733 --> 00:07:20.000
以流水线方式执行推理

00:07:20.300 --> 00:07:21.900
测试结果很亮眼

00:07:22.000 --> 00:07:25.666
north pole把单TOKEN延迟压到1毫秒以内

00:07:25.766 --> 00:07:27.566
相对对照组中能源

00:07:27.566 --> 00:07:30.500
效率最高的GPU快46.9倍

00:07:30.933 --> 00:07:35.533
同时相对延迟最低的GPU节能72.7倍

00:07:35.866 --> 00:07:37.533
16卡系统总吞吐量

00:07:37.533 --> 00:07:40.300
达到每秒28,356个TOKEN

00:07:40.400 --> 00:07:42.800
这组数字同样需要仔细读

00:07:43.366 --> 00:07:47.900
46.9倍和72.7倍不是对同一张GPU

00:07:48.066 --> 00:07:50.466
同一个指标进行的全面碾压

00:07:50.766 --> 00:07:53.133
IBM分别选择了最节能的

00:07:53.133 --> 00:07:56.600
对照GPU和延迟最低的对照GPU

00:07:56.766 --> 00:07:58.366
用来展示north pole

00:07:58.666 --> 00:08:01.666
同时避开了速度与能效的传统取舍

00:08:01.766 --> 00:08:03.700
这依然是非常强的结果

00:08:03.700 --> 00:08:05.133
但不能简化成比

00:08:05.133 --> 00:08:07.566
所有英伟达GPU快70倍

00:08:07.733 --> 00:08:10.866
测试模型精度批次上下文

00:08:10.866 --> 00:08:13.733
长度和系统配置都会影响比较

00:08:13.900 --> 00:08:16.866
随后IBM把规模进一步扩大

00:08:17.100 --> 00:08:19.566
2025年公开的一套端到端研究

00:08:19.566 --> 00:08:23.000
系统使用288张north pole加速卡

00:08:23.000 --> 00:08:25.100
装进18台2U服务器

00:08:25.400 --> 00:08:29.566
整个42U机架提供115 PETAOPS的四位整数

00:08:29.566 --> 00:08:33.000
计算能力和3.7 PBS聚合内存带宽

00:08:33.300 --> 00:08:34.766
功耗约30千瓦

00:08:34.933 --> 00:08:38.666
它能同时运行三套Granite3.38B模型

00:08:38.866 --> 00:08:41.166
在2048上下文长度下

00:08:41.166 --> 00:08:43.166
服务28名并发用户

00:08:43.600 --> 00:08:46.600
单用户TOKEN间延迟约2.8毫秒

00:08:46.766 --> 00:08:50.100
30千瓦对普通家庭当然是惊人数字

00:08:50.566 --> 00:08:52.333
但放进AI数据中心

00:08:52.366 --> 00:08:53.933
它的意义完全不同

00:08:54.066 --> 00:08:56.900
今天的高密度GPU机架常常逼迫

00:08:56.900 --> 00:08:59.133
数据中心升级供电和液冷

00:08:59.300 --> 00:09:01.900
north pole系统能够在空气冷却

00:09:01.900 --> 00:09:04.366
和常规基础设施下运行

00:09:04.566 --> 00:09:06.166
说明它追求的不只是

00:09:06.166 --> 00:09:08.266
实验室里的单芯片纪录

00:09:08.600 --> 00:09:11.733
而是让推理系统在现有机房里落地

00:09:11.866 --> 00:09:13.066
对企业而言

00:09:13.200 --> 00:09:14.933
省下的不只是电费

00:09:14.933 --> 00:09:17.900
还有机房改造散热和供电扩容

00:09:17.966 --> 00:09:19.100
可是看到这里

00:09:19.200 --> 00:09:21.133
最大的疑问反而更明显

00:09:21.466 --> 00:09:22.766
既然数据这么漂亮

00:09:22.900 --> 00:09:24.466
为什么IBM没有直接

00:09:24.466 --> 00:09:26.266
把north pole推向市场

00:09:26.266 --> 00:09:28.866
与英伟达争夺AI加速卡订单

00:09:28.966 --> 00:09:30.900
第一个答案是内存容量

00:09:31.200 --> 00:09:35.366
north pole每颗芯片只有192兆分布式SRAM

00:09:35.800 --> 00:09:37.366
片上内存快得惊人

00:09:37.366 --> 00:09:38.666
也贵得惊人

00:09:38.766 --> 00:09:41.133
容量无法像外部DRAM

00:09:41.133 --> 00:09:43.400
或HBM那样轻易堆高

00:09:43.533 --> 00:09:46.000
任何映射到单张卡上的权重和

00:09:46.000 --> 00:09:49.533
中间激活都必须挤进这192兆

00:09:50.000 --> 00:09:50.933
模型一大

00:09:50.933 --> 00:09:52.166
就只能切层

00:09:52.333 --> 00:09:53.766
增加卡片数量

00:09:53.800 --> 00:09:55.600
再用流水线串起来

00:09:55.666 --> 00:09:57.200
这也是为什么30亿

00:09:57.200 --> 00:09:59.200
参数模型需要16张卡

00:09:59.366 --> 00:10:02.266
80亿参数模型扩展到数百张卡

00:10:02.500 --> 00:10:04.900
north pole用更多芯片换取

00:10:04.900 --> 00:10:07.066
模型完整驻留片上的速度

00:10:07.400 --> 00:10:08.700
对于固定模型

00:10:08.800 --> 00:10:11.266
稳定流量和极低延迟任务

00:10:11.333 --> 00:10:13.133
这种交易可能划算

00:10:13.266 --> 00:10:15.000
对于模型经常变化

00:10:15.100 --> 00:10:16.566
上下文不断增长

00:10:16.566 --> 00:10:18.766
或者负载忽高忽低的环境

00:10:18.900 --> 00:10:20.966
它未必比GPU更经济

00:10:21.166 --> 00:10:22.966
第二个答案是上下文

00:10:23.366 --> 00:10:25.700
大语言模型推理不只要存权重

00:10:25.900 --> 00:10:28.733
还要保存不断增长的KV缓存

00:10:29.000 --> 00:10:29.966
对话越长

00:10:30.066 --> 00:10:30.966
缓存越大

00:10:31.333 --> 00:10:33.666
north pole的片上内存架构天生

00:10:33.666 --> 00:10:35.900
不喜欢无限扩张的上下文

00:10:36.100 --> 00:10:39.200
288卡系统展示的Granit 8B

00:10:39.200 --> 00:10:42.066
运行在2048上下文长度下

00:10:42.133 --> 00:10:44.266
而公开版本Granit模型

00:10:44.266 --> 00:10:46.800
本身能够支持更长上下文

00:10:46.900 --> 00:10:48.766
这说明实验更接近低

00:10:48.766 --> 00:10:51.166
延迟可控长度的企业任务

00:10:51.400 --> 00:10:53.566
而不是让用户一次塞进整套

00:10:53.566 --> 00:10:55.766
代码库或几十万TOKEN文档

00:10:55.966 --> 00:10:58.466
第三个答案是模型适配成本

00:10:58.966 --> 00:11:01.466
开发者不能从网上下载任意模型

00:11:01.733 --> 00:11:03.333
直接丢进north pole

00:11:03.566 --> 00:11:05.800
模型需要量化到较低精度

00:11:06.066 --> 00:11:07.800
重新训练或微调

00:11:08.200 --> 00:11:11.100
随后由专用工具完成分层和映射

00:11:11.500 --> 00:11:13.333
Northpoole没有消灭GPU

00:11:13.533 --> 00:11:14.400
恰恰相反

00:11:14.666 --> 00:11:17.933
GPU仍然负责训练调整和准备模型

00:11:18.366 --> 00:11:19.700
Northpoole只在最后的

00:11:19.700 --> 00:11:21.466
部署阶段发挥优势

00:11:21.600 --> 00:11:23.500
它适合模型已经稳定

00:11:23.900 --> 00:11:26.533
任务会被重复执行很多次的场景

00:11:27.266 --> 00:11:31.200
例如视觉识别工业检测时事决策

00:11:31.500 --> 00:11:34.133
固定企业助手和部分代理流程

00:11:34.333 --> 00:11:36.200
它不适合每天更换模型

00:11:36.366 --> 00:11:37.333
频繁实验

00:11:37.933 --> 00:11:40.700
需要训练和推理混跑的研发环境

00:11:40.900 --> 00:11:42.533
GPU最大的护城河

00:11:42.600 --> 00:11:44.400
从来不只是单向性能

00:11:44.466 --> 00:11:46.600
而是通用性和CUDA生态

00:11:46.900 --> 00:11:48.333
开发者可以用同一套

00:11:48.333 --> 00:11:50.500
硬件训练微调推理

00:11:50.600 --> 00:11:53.066
也可以运行大量非AI计算

00:11:53.300 --> 00:11:55.333
north pole则要求用户

00:11:55.333 --> 00:11:57.333
围绕它重新设计流程

00:11:57.500 --> 00:11:59.566
低精度同样是成绩的一部分

00:12:00.300 --> 00:12:02.900
Northpole在8位4位甚至更低

00:12:02.900 --> 00:12:04.533
精度下追求高吞吐

00:12:05.100 --> 00:12:07.333
语言模型实验也需要量化

00:12:07.533 --> 00:12:09.933
把权重从16位压到4位

00:12:10.200 --> 00:12:12.700
可以显著减少存储和计算

00:12:12.700 --> 00:12:14.333
但需要重新校准

00:12:14.500 --> 00:12:16.400
避免准确率明显下降

00:12:16.666 --> 00:12:19.166
硬件成绩不能脱离模型质量看

00:12:19.566 --> 00:12:21.333
若一套系统快10倍

00:12:21.333 --> 00:12:23.800
却在关键任务上经常答错

00:12:23.866 --> 00:12:25.400
速度没有商业意义

00:12:25.600 --> 00:12:27.066
IBM的研究说明

00:12:27.066 --> 00:12:29.066
在选定模型和精度下

00:12:29.066 --> 00:12:30.733
可以维持目标质量

00:12:30.733 --> 00:12:32.500
却不能自动代表所有

00:12:32.500 --> 00:12:34.300
模型都能无损迁移

00:12:34.733 --> 00:12:36.866
流水线还带来另一种代价

00:12:37.266 --> 00:12:39.733
模型每一层固定落在某张卡上

00:12:39.933 --> 00:12:42.733
TOKEN像产品一样依次通过生产线

00:12:43.366 --> 00:12:45.500
系统总吞吐量可以很高

00:12:45.566 --> 00:12:46.966
可单个请求的表现

00:12:46.966 --> 00:12:48.700
会受最慢阶段限制

00:12:48.800 --> 00:12:50.500
若某层计算更重

00:12:50.500 --> 00:12:52.700
或者请求长度差异很大

00:12:52.866 --> 00:12:54.700
负载平衡就会变复杂

00:12:55.166 --> 00:12:57.333
GPU集群也有通信开销

00:12:57.500 --> 00:13:00.466
但软件生态已经积累了成熟的张量

00:13:00.466 --> 00:13:03.900
并行流水线并行和动态批处理工具

00:13:04.133 --> 00:13:05.766
Northpoole要商业化

00:13:05.866 --> 00:13:07.000
必须证明自己的

00:13:07.000 --> 00:13:09.500
编译器和运行时同样可靠

00:13:09.700 --> 00:13:11.700
企业部署还会追问容错

00:13:11.866 --> 00:13:13.966
一套288卡系统里

00:13:14.300 --> 00:13:16.900
只要一张卡或一条链路出现故障

00:13:17.266 --> 00:13:19.600
模型映射如何重新安排

00:13:19.866 --> 00:13:21.533
升级模型时是否要

00:13:21.533 --> 00:13:23.500
重新编译整条流水线

00:13:23.600 --> 00:13:26.333
不同客户的模型能不能共享硬件

00:13:26.500 --> 00:13:27.900
这些问题不会出现

00:13:27.900 --> 00:13:29.766
在单项芯片跑分里

00:13:29.766 --> 00:13:31.566
却决定数据中心是否

00:13:31.566 --> 00:13:33.533
敢把生产流量交给他

00:13:33.933 --> 00:13:35.600
研究论文证明了可行

00:13:35.800 --> 00:13:37.600
产品团队还要把故障

00:13:37.866 --> 00:13:40.533
监控和更新变成日常操作

00:13:40.666 --> 00:13:42.666
第四个答案是基准本身

00:13:43.400 --> 00:13:47.200
Northpo在Resnet50UOV4和经过专门

00:13:47.200 --> 00:13:49.700
改造的Granite模型上表现突出

00:13:49.733 --> 00:13:51.466
不等于它能在所有AI

00:13:51.466 --> 00:13:53.266
工作负载中领先

00:13:53.366 --> 00:13:55.966
现代前沿模型大量使用混合

00:13:55.966 --> 00:13:59.733
专家长上下文稀疏注意力多

00:13:59.733 --> 00:14:02.166
模态输入和动态工具调用

00:14:02.733 --> 00:14:04.900
每种结构对内存通信

00:14:04.900 --> 00:14:06.900
和控制的需求都不同

00:14:07.300 --> 00:14:08.900
预先安排好的数据流

00:14:08.900 --> 00:14:10.533
能够消除调度开销

00:14:10.733 --> 00:14:13.366
也会降低应对动态变化的能力

00:14:13.666 --> 00:14:15.733
所以标题里12纳米让

00:14:15.733 --> 00:14:17.900
4纳米GPU相形见绌

00:14:18.166 --> 00:14:20.300
只在一个严格范围内成立

00:14:20.566 --> 00:14:21.500
它证明的是

00:14:21.500 --> 00:14:23.900
在特定神经网络推理任务中

00:14:24.000 --> 00:14:26.933
架构优势可以大到抵消制程差距

00:14:27.066 --> 00:14:30.133
它没有证明12纳米普遍胜过4纳米

00:14:30.466 --> 00:14:32.900
更没有证明IBM已经做出一张

00:14:32.966 --> 00:14:35.933
能够替代英伟达数据中心GPU的

00:14:35.933 --> 00:14:38.900
产品north pole目前仍是研究原型

00:14:39.366 --> 00:14:40.766
IBM真正推向商业

00:14:40.766 --> 00:14:42.866
市场的AI加速器叫Spire

00:14:43.400 --> 00:14:45.100
Spire采用5纳米工艺

00:14:45.333 --> 00:14:49.466
拥有32个加速核心和256亿个晶体管

00:14:49.600 --> 00:14:52.066
安装在75瓦Pcie卡上

00:14:52.300 --> 00:14:56.133
已经进入IBM z Linux one和power系统

00:14:56.200 --> 00:14:57.933
它面向企业本地推理

00:14:58.133 --> 00:14:59.200
生成式AI

00:14:59.500 --> 00:15:00.533
和代理任务

00:15:00.600 --> 00:15:02.966
强调数据留在企业系统内部

00:15:03.200 --> 00:15:04.966
north Pole与Spire来自

00:15:04.966 --> 00:15:07.733
IBM长期AI硬件研究

00:15:07.933 --> 00:15:09.666
但不是同一款芯片

00:15:09.700 --> 00:15:11.666
也不能把Spire的商业化

00:15:11.666 --> 00:15:13.666
算成north Pole已经上市

00:15:13.800 --> 00:15:16.266
这个区别反而揭示了实验室

00:15:16.266 --> 00:15:18.766
记录与商业产品之间的距离

00:15:19.066 --> 00:15:22.133
研究芯片可以把一个想法推到极致

00:15:22.533 --> 00:15:26.200
商业芯片还要考虑良率成本软件

00:15:26.333 --> 00:15:30.066
兼容性维护客户迁移和长期供应

00:15:30.266 --> 00:15:32.166
north pole最重要的任务

00:15:32.933 --> 00:15:35.666
也许不是成为下一张热门加速卡

00:15:35.766 --> 00:15:37.333
而是证明一条路线

00:15:37.333 --> 00:15:39.100
值得产业继续投入

00:15:39.166 --> 00:15:40.733
这条路线已经集中了

00:15:40.733 --> 00:15:42.400
英伟达最敏感的问题

00:15:42.766 --> 00:15:45.466
英伟达现在的优势建立在GPU

00:15:45.533 --> 00:15:48.933
CUDA网路HBM和整机系统上

00:15:49.266 --> 00:15:50.866
他卖的不是一颗芯片

00:15:50.866 --> 00:15:52.733
而是一整座AI工厂

00:15:52.800 --> 00:15:54.533
但随着推理占总算

00:15:54.533 --> 00:15:56.166
力需求的比例上升

00:15:56.400 --> 00:15:58.400
客户会越来越认真地计算

00:15:58.400 --> 00:16:01.500
每个TOKEN的电力延迟和成本

00:16:02.066 --> 00:16:04.066
只要工作负载足够稳定

00:16:04.200 --> 00:16:06.566
专用芯片就有机会从GPU

00:16:06.566 --> 00:16:09.533
手里切走一部分任务Google TPU

00:16:09.933 --> 00:16:11.933
Amazon Trion和Inferentia

00:16:12.166 --> 00:16:15.166
微软Maya以及各种边缘NPU

00:16:15.200 --> 00:16:17.200
本质上都在做类似的选择

00:16:17.300 --> 00:16:19.366
不是所有AI计算都必须

00:16:19.366 --> 00:16:21.933
交给最通用最昂贵的GPU

00:16:22.200 --> 00:16:24.466
Northpointe把这个选择推得更远

00:16:24.733 --> 00:16:27.333
它不是简单增加矩阵乘法单元

00:16:27.600 --> 00:16:30.400
而是重新安排内存与计算的关系

00:16:30.500 --> 00:16:33.366
把少搬数据放在多做计算之前

00:16:33.666 --> 00:16:36.733
AI行业过去几年的扩张方式很直接

00:16:36.966 --> 00:16:39.400
模型变大就买更多GPU

00:16:39.733 --> 00:16:42.500
上下文变长就上更多HBM

00:16:42.700 --> 00:16:45.866
机架功率增加就修更大的数据中心

00:16:46.100 --> 00:16:47.333
这个办法有效

00:16:47.333 --> 00:16:48.666
却越来越昂贵

00:16:48.766 --> 00:16:52.200
电网接入时间液冷系统HBM供应

00:16:52.200 --> 00:16:54.666
和先进封装都开始成为限制

00:16:54.866 --> 00:16:56.466
north pole提醒行业

00:16:56.666 --> 00:16:59.300
有些增长不必来自更大的蛮力

00:16:59.533 --> 00:17:01.366
也可以来自不做无用功

00:17:01.500 --> 00:17:03.133
这里还藏着一个经常

00:17:03.133 --> 00:17:04.800
被忽略的经济问题

00:17:05.400 --> 00:17:07.133
数据中心买GPU时

00:17:07.133 --> 00:17:09.166
采购价格只是一部分成本

00:17:09.766 --> 00:17:11.466
芯片几年生命周期里

00:17:11.466 --> 00:17:13.766
电力冷却机房空间和

00:17:13.766 --> 00:17:15.800
利用率会持续产生支出

00:17:15.900 --> 00:17:17.766
一块便宜但经常等待

00:17:17.766 --> 00:17:20.500
内存的芯片未必真的便宜

00:17:20.766 --> 00:17:22.733
一套前期适配复杂

00:17:22.966 --> 00:17:26.000
长期每次推理都更省电的专用系统

00:17:26.100 --> 00:17:29.000
在高调用量场景里可能更有优势

00:17:29.600 --> 00:17:31.600
north pole的商业价值要

00:17:31.600 --> 00:17:33.500
用总拥有成本计算

00:17:33.533 --> 00:17:35.333
而不是只看晶圆制程

00:17:35.500 --> 00:17:38.066
可总拥有成本不能只算电

00:17:38.200 --> 00:17:41.333
专用芯片的开发工具模型转换

00:17:41.466 --> 00:17:44.933
工程师培训备件和供应规模都要

00:17:44.933 --> 00:17:45.733
花钱

00:17:45.866 --> 00:17:49.466
英伟达GPU贵却很容易找到开发者

00:17:49.733 --> 00:17:53.166
框架和现成方案企业遇到问题也能

00:17:53.166 --> 00:17:56.366
从庞大社区和合作伙伴中找到答案

00:17:56.700 --> 00:17:59.500
north pole若想把能效优势变成订单

00:17:59.700 --> 00:18:01.366
节省的电费必须大到

00:18:01.366 --> 00:18:03.100
足以覆盖迁移成本

00:18:03.166 --> 00:18:05.500
还要保证芯片能持续供货

00:18:05.566 --> 00:18:07.300
这也是先进制程比较

00:18:07.300 --> 00:18:08.800
最容易误导的地方

00:18:09.366 --> 00:18:12.866
4纳米GPU承担的是更广泛任务

00:18:13.066 --> 00:18:17.566
包含缓存调度图形和通用计算能力

00:18:17.900 --> 00:18:20.200
12纳米north pole删除了

00:18:20.200 --> 00:18:21.700
大量不需要的能力

00:18:21.766 --> 00:18:24.666
两者像一辆能在各种道路行驶的

00:18:24.666 --> 00:18:28.100
卡车和一列只跑固定路线的电车

00:18:28.366 --> 00:18:31.166
电车在自己的轨道上效率极高

00:18:31.266 --> 00:18:34.066
不能据此断言卡车技术落后

00:18:34.166 --> 00:18:35.400
正确结论是

00:18:35.400 --> 00:18:37.100
当路线足够固定

00:18:37.100 --> 00:18:39.133
专用设计可以用成熟制程

00:18:39.133 --> 00:18:41.200
赢过先进制程的通用芯片

00:18:41.533 --> 00:18:43.700
成熟制程还有现实优势

00:18:44.366 --> 00:18:45.866
晶圆成本更低

00:18:46.000 --> 00:18:47.300
产能更充足

00:18:47.466 --> 00:18:49.133
制造经验更稳定

00:18:49.600 --> 00:18:51.700
AI行业把注意力集中在

00:18:51.700 --> 00:18:53.666
台积电最先进节点

00:18:53.733 --> 00:18:55.933
但并非所有推理芯片都

00:18:55.933 --> 00:18:58.000
需要增强最稀缺产能

00:18:58.066 --> 00:19:00.600
如果架构能在12纳米实现目标

00:19:00.766 --> 00:19:02.966
同样预算可以购买更多芯片

00:19:03.266 --> 00:19:04.733
也能降低供应链对

00:19:04.733 --> 00:19:06.466
单一先进节点的依赖

00:19:07.300 --> 00:19:09.600
north pole给出的不只是技术路线

00:19:09.700 --> 00:19:11.533
也是一种供应链选择

00:19:11.900 --> 00:19:12.800
但反过来

00:19:12.900 --> 00:19:14.333
专用系统也有被

00:19:14.333 --> 00:19:16.100
模型变化淘汰的风险

00:19:16.466 --> 00:19:19.400
如果模型架构每半年就大改一次

00:19:19.566 --> 00:19:22.166
今天为某种数据流设计的硬件

00:19:22.200 --> 00:19:23.933
明天可能难以适配

00:19:24.466 --> 00:19:27.266
GPU虽然没有在每项任务上做到极致

00:19:27.400 --> 00:19:29.666
却能承受行业快速变化

00:19:29.733 --> 00:19:31.966
客户为通用性支付的溢价

00:19:32.100 --> 00:19:33.366
实际上是在购买

00:19:33.366 --> 00:19:35.100
未来的不确定性保险

00:19:35.333 --> 00:19:36.700
Northpo与英伟达

00:19:36.933 --> 00:19:39.600
因此不是简单的谁把谁打败

00:19:39.800 --> 00:19:41.766
它们代表两种不同答案

00:19:42.266 --> 00:19:45.733
GPU的答案是用强大的通用并行计算

00:19:45.800 --> 00:19:49.133
外部高带宽内存和成熟软件生态

00:19:49.133 --> 00:19:50.766
覆盖尽可能多的任务

00:19:51.000 --> 00:19:52.800
north pole的答案是主动

00:19:52.800 --> 00:19:55.000
放弃训练和部分灵活性

00:19:55.366 --> 00:19:57.966
把固定推理路径压缩到片上

00:19:57.966 --> 00:19:59.566
用结构换效率

00:19:59.733 --> 00:20:01.666
未来最可能出现的不是

00:20:01.666 --> 00:20:04.266
专用芯片一夜取代GPU

00:20:04.366 --> 00:20:07.000
而是AI基础设施开始分层

00:20:07.366 --> 00:20:10.500
训练和快速实验继续留在GPU上

00:20:10.966 --> 00:20:12.800
稳定的大规模推理转向

00:20:12.800 --> 00:20:16.100
TPU ASIC或north pole式架构

00:20:16.266 --> 00:20:18.466
手机汽车和工业设备

00:20:18.466 --> 00:20:20.333
使用更小的边缘NPU

00:20:20.500 --> 00:20:22.266
工作负载被拆开以后

00:20:22.533 --> 00:20:25.066
英伟达仍然可能是最大赢家

00:20:25.133 --> 00:20:27.500
却不再天然拥有每一个环节

00:20:27.766 --> 00:20:30.133
north pole最值得记住的数字

00:20:30.300 --> 00:20:36.166
也许不是22倍26倍46.9倍或者72.7倍

00:20:36.300 --> 00:20:38.100
而是192兆

00:20:38.200 --> 00:20:40.733
就是这块看起来不大的片上内存

00:20:41.200 --> 00:20:42.766
让它绕过数据搬运

00:20:43.200 --> 00:20:45.266
赢得惊人的速度和能效

00:20:45.466 --> 00:20:47.400
也正是这192招

00:20:47.700 --> 00:20:50.733
限制了模型大小上下文和灵活性

00:20:50.900 --> 00:20:52.466
它的优势和代价

00:20:52.466 --> 00:20:54.133
来自同一个设计决定

00:20:54.266 --> 00:20:56.100
这也回答了开头的问题

00:20:56.766 --> 00:20:58.533
Northpole没有成为商品

00:20:58.566 --> 00:21:00.266
不是因为实验失败

00:21:00.333 --> 00:21:02.500
而是因为它证明的太专一

00:21:02.600 --> 00:21:05.533
它证明了12纳米可以在特定

00:21:05.533 --> 00:21:08.200
推理任务上击败4纳米GPU

00:21:08.533 --> 00:21:11.466
证明了内存墙并非不可改变

00:21:11.766 --> 00:21:14.100
也证明了AI硬件还有一条

00:21:14.100 --> 00:21:16.400
不靠无限增加功耗的路

00:21:16.466 --> 00:21:19.733
可要把这条路变成普遍适用的产品

00:21:20.266 --> 00:21:24.200
IBM还得解决容量软件和模型适配

00:21:24.366 --> 00:21:25.600
对英伟达而言

00:21:25.600 --> 00:21:27.800
真正的威胁不是IBM明天

00:21:27.800 --> 00:21:29.800
推出一张north pole显卡

00:21:30.133 --> 00:21:31.366
而是越来越多客户

00:21:31.366 --> 00:21:32.766
开始问同一个问题

00:21:32.966 --> 00:21:35.533
既然大部分电力花在搬数据上

00:21:35.533 --> 00:21:37.100
为什么还要为每次推理

00:21:37.100 --> 00:21:39.466
都使用最昂贵的通用GPU

00:21:39.533 --> 00:21:41.466
只要这个问题被持续追问

00:21:41.666 --> 00:21:45.200
AI芯片战争就会从制程和算力转向

00:21:45.200 --> 00:21:48.500
内存位置数据流和每个TOKEN的成本

00:21:48.500 --> 00:21:49.300
所以

00:21:49.800 --> 00:21:51.766
12纳米并没有推翻4纳米

00:21:52.400 --> 00:21:53.866
north pole推翻的是

00:21:53.866 --> 00:21:55.800
另一种更顽固的迷信

00:21:56.266 --> 00:21:57.733
只要制程更新

00:21:57.800 --> 00:21:59.000
GPU更大

00:21:59.100 --> 00:22:00.133
功耗更高

00:22:00.200 --> 00:22:02.133
AI就一定会更有效率

00:22:02.333 --> 00:22:05.366
IBM用一颗研究芯片说明

00:22:05.866 --> 00:22:07.733
架构仍然可以改变规则

00:22:07.933 --> 00:22:10.466
英伟达今天不会因此失去王座

00:22:10.600 --> 00:22:13.566
但它必须面对一个更难防守的战场

00:22:14.000 --> 00:22:15.300
在这个战场上

00:22:15.366 --> 00:22:18.200
竞争对手不需要做出更大的GPU

00:22:18.366 --> 00:22:21.133
只需要让大量任务不再需要GPU

00:22:21.366 --> 00:22:22.200
试试核验

00:22:22.600 --> 00:22:25.333
IBM Northpole采用12纳米工艺

00:22:25.600 --> 00:22:29.966
拥有220亿个晶体管与256个核心属实

00:22:30.366 --> 00:22:32.966
分布式DRAM容量为192兆

00:22:33.133 --> 00:22:35.733
片上带宽约13太字节每秒

00:22:36.333 --> 00:22:38.733
属实在限定视觉推理任务

00:22:38.733 --> 00:22:40.900
中超过一款4纳米GPU

00:22:41.200 --> 00:22:44.600
属实相对可比12纳米GPU约25倍

00:22:44.600 --> 00:22:47.600
能效和约22倍低延迟属实

00:22:48.066 --> 00:22:49.400
每焦耳工作量提高

00:22:49.400 --> 00:22:51.200
22倍的说法不准确

00:22:51.466 --> 00:22:56.366
16卡系统达到每秒28,356TOKEN属实

00:22:56.700 --> 00:22:59.266
288卡研究系统与30千瓦

00:22:59.266 --> 00:23:01.166
功耗数据有论文支持

00:23:01.566 --> 00:23:04.333
Northpole全面击败现代英伟达GPU

00:23:04.333 --> 00:23:07.533
不属实Northpole已经商业化不属实

00:23:07.800 --> 00:23:09.466
IBM已经商业化

00:23:09.600 --> 00:23:12.133
另一款Spire加速器属实