一颗采用12纳米工艺的芯片
竟然在人工智能推理
测试里压过了4纳米GPU
它没有最先进的制程
没有昂贵的HBM
也不能训练大模型
却在某些任务上跑得更快
耗电更少
听起来像IBM突然找到了
击败英伟达的捷径
但真正的问题是
如果north pole这么强
为什么它到现在仍然
只是一款研究原型
答案藏在它最强的优势里
也藏在它最难绕开的限制里
这颗芯片叫north pole
IBM在2023年正式公开它时
给出的规格并
不符合当时的主流叙事
12纳米工艺
220亿个晶体管
256个核心
芯片面积约795平方毫米
放在一个人人都盯着
4纳米3纳米的行业里
12纳米看起来甚至有些落后
可IBM偏偏用这颗旧制程芯片做出
了一组让人无法忽略的数据
在Resnet50图像分类和YOLO
V4目标检测测试中
north pole相对采用相近12纳米工艺的GPU
实现约25倍的每瓦增速
约5倍的每晶体管处理效率
以及约22倍更低的延迟
IBM还表示
它在这些限定任务上
连采用更先进4纳米
工艺的GPU也能压过去
先纠正一个流传很广的说法
22倍并不是每一单位
能量多完成22倍工作
IBM公开论文里的22倍指的是
相对可比12纳米GPU的延迟优势
能效指标是约25倍
把延迟和能效混成
一句话会让数字更刺激
却也会误导观众
north pole确实很快很省电
但正确理解这些成绩比
重复一个夸张数字更重要
对north pole更重要的是
制程从来不是芯片表现的唯一答案
先进制程可以让晶体管更小
通常也有利于密度性能和功耗
但如果一套架构把大量
电力耗在搬运数据上
再先进的晶体管也只能缓解问题
不能让问题消失
north pole真正供给的
正是现代AI计算最昂贵
也最不容易被普通
用户看见的一部分
数据移动
传统计算机长期遵循冯诺依曼架构
处理器负责计算
内存负责存数据
两者分开
处理器需要一组权重
就去内存取
算完产生结果
再把结果送回去
这个循环每秒发生无数次
早期软件的计算量有限
这种分工足够通用
也足够灵活
但神经网络把问题放大了
AI推理里的单次运算并不神秘
大量工作只是乘法和加法
真正可怕的是数量
以及每一次运算都要
及时拿到正确数据
GPU的计算能力增长很快
内存带宽却没有以相同速度增长
于是计算单元越来越像
一座扩建过渡的工厂
机器很多
原料却还在路上
GPU加入HBM
就是给工厂修更宽的高速公路
但高速公路昂贵
封装复杂
也会持续耗电
north pole提出的不是把路再拓宽
而是把仓库直接搬进工厂
north pole把分布式SRAM放进芯片内部
让每个核心旁边都有本地内存
整颗芯片共有192兆分布式SRAM
片上内存带宽达到约13太字节每秒
模型权重和中间数据
尽量留在芯片内部
只有输入和最终结果
需要跨过芯片边界
IBM负责人darmendramoda把它形容为
一个完整网路装在一颗芯片上
这句话听起来像宣传
但很准确的概括了设计目标
让计算靠近数据
把搬运距离压到最低
芯片内部的256个核心并不是一群
等待中央调度器发号施令的通用
工人
Northpoole会提前由
编译器安排数据怎么走
计算何时发生
各个核心做哪一段任务
运行时不需要不断判断下一步
也没有复杂的数据依赖分支
它牺牲动态调度
换来更高利用率和更可预测的执行
这里出现了第一个关键转折
Northpo并不是一块更好的通用GPU
它是一块把自己限制
的很死的推理芯片
它不支持大模型训练
训练需要前向计算反向传播
梯度更新和频繁变化的数据流
需要高度灵活的内存与调度
Northpole从设计之初就放弃这些能力
只专注神经网络的前向推理
这条路线并不是IBM突然想到的
north pole之前还有true north
IBM团队从2,000年代
开始研究类脑计算得到过
美国国防高级研究计划局Synaps项目
支持
Truenorth在2014年公开
强调用大量低功耗
神经元核心处理感知任务
它展示了类脑芯片可以极省电
却也受限于编程方式和适用模型
Northpoole继承了让数据待
在计算附近的思想
但没有照搬生物神经元
它转向更适合现代深度
网路的数字计算和张量操作
从true north到Northpoole
真正变化的是目标
Truenorth更像在探索机器能否用
接近大脑的稀疏方式处理感知
Northpole则直接瞄准
部署中的效率问题
它不要求开发者接受
一种完全陌生的神经网络
而是尝试运行常见卷积
网络和经过适配的Transformer
类脑灵感保留下来
工程路径却更接近现代AI加速器
这段历史解释了为什么Northpoole
很难用普通显卡思路评价
他不是把更多单元塞进芯片
也不是单纯提高频率
他先设定10条架构原则
再围绕推理重新组织芯片
没有运行时调度
没有外部内存依赖
控制分散到各个核心
每条原则都在减少通用性
同时压低数据移动和控制开销
这个取舍并不愚蠢
一个模型可能只训练几轮
却要被调用几百万几亿次
训练决定模型怎么形成
推理决定它一生消耗多少电
如果某种架构能把
高频推理做到极致
即使训练仍然交给GPU
它也可能在AI基础设施
里占据非常大的位置
north pole押注的正是这件事
不去争夺所有工作
只吃下重复次数最多的那一段
IBM后来把测试从图像
模型推进到语言模型
研究团队从Granit Bobby Codebase
改造出一个约30亿参数
14层Transformer的模型
再把14个Transformer层分别
映射到14张north pole卡
输出层放到另外两张卡上
16张卡通过Pcie组成一台普通2U服务器
以流水线方式执行推理
测试结果很亮眼
north pole把单TOKEN延迟压到1毫秒以内
相对对照组中能源
效率最高的GPU快46.9倍
同时相对延迟最低的GPU节能72.7倍
16卡系统总吞吐量
达到每秒28,356个TOKEN
这组数字同样需要仔细读
46.9倍和72.7倍不是对同一张GPU
同一个指标进行的全面碾压
IBM分别选择了最节能的
对照GPU和延迟最低的对照GPU
用来展示north pole
同时避开了速度与能效的传统取舍
这依然是非常强的结果
但不能简化成比
所有英伟达GPU快70倍
测试模型精度批次上下文
长度和系统配置都会影响比较
随后IBM把规模进一步扩大
2025年公开的一套端到端研究
系统使用288张north pole加速卡
装进18台2U服务器
整个42U机架提供115 PETAOPS的四位整数
计算能力和3.7 PBS聚合内存带宽
功耗约30千瓦
它能同时运行三套Granite3.38B模型
在2048上下文长度下
服务28名并发用户
单用户TOKEN间延迟约2.8毫秒
30千瓦对普通家庭当然是惊人数字
但放进AI数据中心
它的意义完全不同
今天的高密度GPU机架常常逼迫
数据中心升级供电和液冷
north pole系统能够在空气冷却
和常规基础设施下运行
说明它追求的不只是
实验室里的单芯片纪录
而是让推理系统在现有机房里落地
对企业而言
省下的不只是电费
还有机房改造散热和供电扩容
可是看到这里
最大的疑问反而更明显
既然数据这么漂亮
为什么IBM没有直接
把north pole推向市场
与英伟达争夺AI加速卡订单
第一个答案是内存容量
north pole每颗芯片只有192兆分布式SRAM
片上内存快得惊人
也贵得惊人
容量无法像外部DRAM
或HBM那样轻易堆高
任何映射到单张卡上的权重和
中间激活都必须挤进这192兆
模型一大
就只能切层
增加卡片数量
再用流水线串起来
这也是为什么30亿
参数模型需要16张卡
80亿参数模型扩展到数百张卡
north pole用更多芯片换取
模型完整驻留片上的速度
对于固定模型
稳定流量和极低延迟任务
这种交易可能划算
对于模型经常变化
上下文不断增长
或者负载忽高忽低的环境
它未必比GPU更经济
第二个答案是上下文
大语言模型推理不只要存权重
还要保存不断增长的KV缓存
对话越长
缓存越大
north pole的片上内存架构天生
不喜欢无限扩张的上下文
288卡系统展示的Granit 8B
运行在2048上下文长度下
而公开版本Granit模型
本身能够支持更长上下文
这说明实验更接近低
延迟可控长度的企业任务
而不是让用户一次塞进整套
代码库或几十万TOKEN文档
第三个答案是模型适配成本
开发者不能从网上下载任意模型
直接丢进north pole
模型需要量化到较低精度
重新训练或微调
随后由专用工具完成分层和映射
Northpoole没有消灭GPU
恰恰相反
GPU仍然负责训练调整和准备模型
Northpoole只在最后的
部署阶段发挥优势
它适合模型已经稳定
任务会被重复执行很多次的场景
例如视觉识别工业检测时事决策
固定企业助手和部分代理流程
它不适合每天更换模型
频繁实验
需要训练和推理混跑的研发环境
GPU最大的护城河
从来不只是单向性能
而是通用性和CUDA生态
开发者可以用同一套
硬件训练微调推理
也可以运行大量非AI计算
north pole则要求用户
围绕它重新设计流程
低精度同样是成绩的一部分
Northpole在8位4位甚至更低
精度下追求高吞吐
语言模型实验也需要量化
把权重从16位压到4位
可以显著减少存储和计算
但需要重新校准
避免准确率明显下降
硬件成绩不能脱离模型质量看
若一套系统快10倍
却在关键任务上经常答错
速度没有商业意义
IBM的研究说明
在选定模型和精度下
可以维持目标质量
却不能自动代表所有
模型都能无损迁移
流水线还带来另一种代价
模型每一层固定落在某张卡上
TOKEN像产品一样依次通过生产线
系统总吞吐量可以很高
可单个请求的表现
会受最慢阶段限制
若某层计算更重
或者请求长度差异很大
负载平衡就会变复杂
GPU集群也有通信开销
但软件生态已经积累了成熟的张量
并行流水线并行和动态批处理工具
Northpoole要商业化
必须证明自己的
编译器和运行时同样可靠
企业部署还会追问容错
一套288卡系统里
只要一张卡或一条链路出现故障
模型映射如何重新安排
升级模型时是否要
重新编译整条流水线
不同客户的模型能不能共享硬件
这些问题不会出现
在单项芯片跑分里
却决定数据中心是否
敢把生产流量交给他
研究论文证明了可行
产品团队还要把故障
监控和更新变成日常操作
第四个答案是基准本身
Northpo在Resnet50UOV4和经过专门
改造的Granite模型上表现突出
不等于它能在所有AI
工作负载中领先
现代前沿模型大量使用混合
专家长上下文稀疏注意力多
模态输入和动态工具调用
每种结构对内存通信
和控制的需求都不同
预先安排好的数据流
能够消除调度开销
也会降低应对动态变化的能力
所以标题里12纳米让
4纳米GPU相形见绌
只在一个严格范围内成立
它证明的是
在特定神经网络推理任务中
架构优势可以大到抵消制程差距
它没有证明12纳米普遍胜过4纳米
更没有证明IBM已经做出一张
能够替代英伟达数据中心GPU的
产品north pole目前仍是研究原型
IBM真正推向商业
市场的AI加速器叫Spire
Spire采用5纳米工艺
拥有32个加速核心和256亿个晶体管
安装在75瓦Pcie卡上
已经进入IBM z Linux one和power系统
它面向企业本地推理
生成式AI
和代理任务
强调数据留在企业系统内部
north Pole与Spire来自
IBM长期AI硬件研究
但不是同一款芯片
也不能把Spire的商业化
算成north Pole已经上市
这个区别反而揭示了实验室
记录与商业产品之间的距离
研究芯片可以把一个想法推到极致
商业芯片还要考虑良率成本软件
兼容性维护客户迁移和长期供应
north pole最重要的任务
也许不是成为下一张热门加速卡
而是证明一条路线
值得产业继续投入
这条路线已经集中了
英伟达最敏感的问题
英伟达现在的优势建立在GPU
CUDA网路HBM和整机系统上
他卖的不是一颗芯片
而是一整座AI工厂
但随着推理占总算
力需求的比例上升
客户会越来越认真地计算
每个TOKEN的电力延迟和成本
只要工作负载足够稳定
专用芯片就有机会从GPU
手里切走一部分任务Google TPU
Amazon Trion和Inferentia
微软Maya以及各种边缘NPU
本质上都在做类似的选择
不是所有AI计算都必须
交给最通用最昂贵的GPU
Northpointe把这个选择推得更远
它不是简单增加矩阵乘法单元
而是重新安排内存与计算的关系
把少搬数据放在多做计算之前
AI行业过去几年的扩张方式很直接
模型变大就买更多GPU
上下文变长就上更多HBM
机架功率增加就修更大的数据中心
这个办法有效
却越来越昂贵
电网接入时间液冷系统HBM供应
和先进封装都开始成为限制
north pole提醒行业
有些增长不必来自更大的蛮力
也可以来自不做无用功
这里还藏着一个经常
被忽略的经济问题
数据中心买GPU时
采购价格只是一部分成本
芯片几年生命周期里
电力冷却机房空间和
利用率会持续产生支出
一块便宜但经常等待
内存的芯片未必真的便宜
一套前期适配复杂
长期每次推理都更省电的专用系统
在高调用量场景里可能更有优势
north pole的商业价值要
用总拥有成本计算
而不是只看晶圆制程
可总拥有成本不能只算电
专用芯片的开发工具模型转换
工程师培训备件和供应规模都要
花钱
英伟达GPU贵却很容易找到开发者
框架和现成方案企业遇到问题也能
从庞大社区和合作伙伴中找到答案
north pole若想把能效优势变成订单
节省的电费必须大到
足以覆盖迁移成本
还要保证芯片能持续供货
这也是先进制程比较
最容易误导的地方
4纳米GPU承担的是更广泛任务
包含缓存调度图形和通用计算能力
12纳米north pole删除了
大量不需要的能力
两者像一辆能在各种道路行驶的
卡车和一列只跑固定路线的电车
电车在自己的轨道上效率极高
不能据此断言卡车技术落后
正确结论是
当路线足够固定
专用设计可以用成熟制程
赢过先进制程的通用芯片
成熟制程还有现实优势
晶圆成本更低
产能更充足
制造经验更稳定
AI行业把注意力集中在
台积电最先进节点
但并非所有推理芯片都
需要增强最稀缺产能
如果架构能在12纳米实现目标
同样预算可以购买更多芯片
也能降低供应链对
单一先进节点的依赖
north pole给出的不只是技术路线
也是一种供应链选择
但反过来
专用系统也有被
模型变化淘汰的风险
如果模型架构每半年就大改一次
今天为某种数据流设计的硬件
明天可能难以适配
GPU虽然没有在每项任务上做到极致
却能承受行业快速变化
客户为通用性支付的溢价
实际上是在购买
未来的不确定性保险
Northpo与英伟达
因此不是简单的谁把谁打败
它们代表两种不同答案
GPU的答案是用强大的通用并行计算
外部高带宽内存和成熟软件生态
覆盖尽可能多的任务
north pole的答案是主动
放弃训练和部分灵活性
把固定推理路径压缩到片上
用结构换效率
未来最可能出现的不是
专用芯片一夜取代GPU
而是AI基础设施开始分层
训练和快速实验继续留在GPU上
稳定的大规模推理转向
TPU ASIC或north pole式架构
手机汽车和工业设备
使用更小的边缘NPU
工作负载被拆开以后
英伟达仍然可能是最大赢家
却不再天然拥有每一个环节
north pole最值得记住的数字
也许不是22倍26倍46.9倍或者72.7倍
而是192兆
就是这块看起来不大的片上内存
让它绕过数据搬运
赢得惊人的速度和能效
也正是这192招
限制了模型大小上下文和灵活性
它的优势和代价
来自同一个设计决定
这也回答了开头的问题
Northpole没有成为商品
不是因为实验失败
而是因为它证明的太专一
它证明了12纳米可以在特定
推理任务上击败4纳米GPU
证明了内存墙并非不可改变
也证明了AI硬件还有一条
不靠无限增加功耗的路
可要把这条路变成普遍适用的产品
IBM还得解决容量软件和模型适配
对英伟达而言
真正的威胁不是IBM明天
推出一张north pole显卡
而是越来越多客户
开始问同一个问题
既然大部分电力花在搬数据上
为什么还要为每次推理
都使用最昂贵的通用GPU
只要这个问题被持续追问
AI芯片战争就会从制程和算力转向
内存位置数据流和每个TOKEN的成本
所以
12纳米并没有推翻4纳米
north pole推翻的是
另一种更顽固的迷信
只要制程更新
GPU更大
功耗更高
AI就一定会更有效率
IBM用一颗研究芯片说明
架构仍然可以改变规则
英伟达今天不会因此失去王座
但它必须面对一个更难防守的战场
在这个战场上
竞争对手不需要做出更大的GPU
只需要让大量任务不再需要GPU
试试核验
IBM Northpole采用12纳米工艺
拥有220亿个晶体管与256个核心属实
分布式DRAM容量为192兆
片上带宽约13太字节每秒
属实在限定视觉推理任务
中超过一款4纳米GPU
属实相对可比12纳米GPU约25倍
能效和约22倍低延迟属实
每焦耳工作量提高
22倍的说法不准确
16卡系统达到每秒28,356TOKEN属实
288卡研究系统与30千瓦
功耗数据有论文支持
Northpole全面击败现代英伟达GPU
不属实Northpole已经商业化不属实
IBM已经商业化
另一款Spire加速器属实