这是一块家用游戏显卡5090的主板
上面最醒目的就是中间的GPU芯片
而在GPU芯片的周围则排布了一圈显存颗粒
GPU运算时需要的指令数据产生的临时结果都会暂存在这里
而这是NVIDIAGB300AI数据中心的一个节点
这个节点上面有四颗GPU
可在它们的周围却看不到类似5090那样的显存颗粒
难道AI服务器的GPU不需要显存就能工作吗
当然不是
仔细看
在这四颗GPU的旁边有两排小的方框
这些其实就是显存
只不过它们没有像家用显卡那样独立摆放
而是和GPU封装在了一起
而这种特殊的显存就是我们今天的主角HBM显存
它是一种依托3D堆叠技术
实现高带宽高级程度的先进储存芯片
也是目前AI高端显卡的核心刚需
同时也是近期内存价格上涨的罪魁祸首
那么HBM显存的原理是什么呢
它又是怎么造出来的呢
本期视频我们就一起来了解一下HBM显存
一战三连我们开始
HBM
高带宽存储
带宽其实就是指传输数据的速度
这里的高带宽就是说它传输数据很快
显存颗粒和GPU通过导线连接
然后通过电压信号进行数据传输
例如要传输的数据是
01010
那么我们就可以用高电压代表1
低电压代表0
那么在传输数据的时候
导线上的电压就是低高低高低
那么如果想要提升传输速度
我们可以缩短导线上每种电压信号状态持续的时间
让低高低高低变成低高低高低
也就是提升传输的频率
而除了传输频率之外
我们还可以多增加几个导线
把数据分开传输
也能提高传输速度
而这种方式就是提升传输的位宽
而所谓的带宽就等于频率乘上位宽
所以要提升带宽
要么提升频率
要么提升位宽
或者两个都提升
而在显存这里
提升频率会带来很多问题
导线上的电压信号
由低变高或者由高变低的过程
并不是瞬间完成的
而是存在一个过程
我们必须等电压信号完全抬起
或者完全降低之后
才能开始下一个传输周期
所以频率其实是存在一个明显的上限的
并且频率提升
势必会增加每条数据线之间的干扰
所以HBM选择
通过极高的位宽来提升带宽
普通的GDR7显存
就是5090上汉的那种
单颗粒的位宽为32比特
5090满载可以支持16颗显存颗粒
总位宽可以达到512比特
而HBM3E显存单颗位宽就可以达到1024比特
这枚B300GPU周围有8颗HBM3E显存
那么总位宽就达到了8192比特
那么问题来了
HBM显存是如何做到这么大的位宽的呢
我们刚才提到了
显存颗粒和GPU之间通过导线来传输数据
多加几根导线就是在增加位宽
1比特的位宽就对应一根传输数据用的导线
一颗普通的GDR7显存的位宽是32比特
这就意味着
这颗显存颗粒和GPU之间
有32根用来传输数据的线
当然实际上你需要更多的导线
你还需要供电线
地址线
时钟线等等
所以实际的连线是远超32根的
GDR7就有266根导线
早一些的GDR6也有180根
这是带宽只有32比特的情况
HBM的带宽可以达到1024比特
这就意味着
光是用来传数据的导线
就需要有1024根
你还需要供电地址等配套的导线
加上这些
HBM3E有3982根导线
所以HBM的第一个难题就是
怎么样才能在这么小的空间里
接出来这么多根导线
我们可以先看一下
普通的GDR显存是怎么做的
首先
存储的核心电路
是在一片薄薄的硅片上面制作的
但是这个硅片是非常脆的
并且上面的电路触点也非常小
不利于后续的加工和使用
所以一般会准备一个基板
这个基板是由玻璃纤维编织成的一张布
再加上还氧树纸固化而成
非常皮实
制作好的硅片会通过倒装的方式
倒扣在基板上
硅片表面的触点会直接和基板相连
基板的内部则有多层走线
把这些信号引到基板的背面
再直上吸球
这样在基板的保护下
硅片就比较安全
并且将硅片上的触点
引到了皮实的基板的背面
也能方便后续的加工焊接
这种基板在制作的时候
会先使用玻璃纤维布
进上还氧树纸
然后高温压成硬板
之后再在两面都贴上一层铜箔
在制造电路的时候
先把铜箔表面贴上一层感光膜
然后将电路蒙板蒙上来
再用紫外光照射
被光照射的感光膜就会变性
再使用显影一页
就可以把没有照射过的部分
清洗下去
此时一部分的铜箔就会裸露出来
再把板子泡进客室叶里
裸露的铜就可以被腐蚀掉
而被感光膜覆盖的铜就可以被保留
电路就做出来了
实际的封装基板通常有4到8层
像千层柄一样叠起来
再通过激光钻出的小孔
把各层线路打通连接起来
但是这种制造工艺做出来的电路
走线密度是极其有限的
玻璃纤维表面是坑坑洼洼
起伏不定的
那么铜箔和感光膜
在贴合的过程中就难免有气泡
如果线做得太细
碰上一个气泡就很容易做断
并且这种工艺是通过液体化学药剂
进行腐蚀
腐蚀不只是纵向腐蚀
也会横着向侧面腐蚀
那么线太细的话
侧面也会被掏空
就很容易断线
总之受工艺限制
机板内的走线密度不可能做高
并且普通的显存
最后是要焊接到PCB电路板上的
再由PCB电路板连接到GPU的引脚上面
PCB电路板的制造工艺
和机板的制造流程是差不多的
这部分的走线密度也是上不去的
那么HBM这种需要4000根导线的情况
应该怎么办呢
玻璃纤维部做成的机板
肯定是满足不了需求的
表面太粗糙了
我们需要一种全新的材质
那就是硅
没错就是用来光刻芯片的硅
我们直接做一片大的硅片
这种硅片表面被打磨得极其光滑
先通过光刻和刻石在硅表面开出精细的凹槽
然后将铜通过沉积工艺填充进去
形成电路
HBM芯片不再需要机板
可以直接焊接到这个硅片上
同样GPU芯片也直接焊接到这个硅片上
这样HBM就可以通过这个大硅片和GPU互联
这片负责牵线搭桥的大号硅片
就叫做硅中介层
硅中介层本质上就是一片没有晶体管的芯片
它的表面比镜子还要平整
所以芯片厂可以用成熟的光刻、刻石和薄膜成机工艺
在上面做出非常精细的金属线路
这些线路的宽度不再受限于玻璃纤维基板的十几个微米
而是可以轻松做到一个微米以下
甚至能做到几百纳米
也就是说
在同样大的面积里
硅中介层能够容纳的走线数量
是玻璃纤维基板的几十倍
甚至上百倍
这样通过硅中介层的互联
HBM的走线密度得以大幅提升
传输速度的问题就解决了
而除了速度之外
AI芯片对于显存还有一个更硬的要求
那就是容量
我们看HBM显存和普通的GDDR显存
它们的面积是差不多的
那么单个普通的GDDR显存容量是多大呢
像是5090上用的GDDR7
单颗容量一般是2GB
就算是在GPU周围焊满16颗
总容量也只有32GB
玩游戏肯定是够用了
但是对于AI来说还是太少了
那么应该如何增大显存容量呢
答案是堆叠
将多个没有封装的储存裸片堆叠起来
就可以让它们共用底部的硅中介层
这样不需要扩大底部的占位面积
就可以让容量成倍提升
不过要将这么多个芯片堆叠起来
并不是一件容易的事情
将十几个存储芯片
螺在一起看起来很简单
但是最大的问题是上面的芯片怎么和下面的芯片通讯
从芯片侧面拉导线出来然后连接到底层吗
不可能
每层都要拉出来几千根导线
硅中介层上根本扑不开
而且这么多条导线
每条导线必须非常的细
就算是用黄金都没有办法悬孔拉出来这么细的线
而工程师最后想到的办法是
在硅片上打洞
然后穿入铜柱
这样每层存储芯片连接到铜柱上
进而就可以通过这些铜柱连接到底部的硅中介层上
这种技术就叫做TSV
硅通孔技术
当然
硅通孔要实现起来也并不容易
我们首先要解决的就是如何给硅片打洞
这里的孔洞直径大概是在5到10微米左右
要在硅片上打出这么小的洞
用钻头打肯定是不行的
行业中使用的是一种叫做深反应离子刻石的技术
也叫BOSS工艺
这是一个已经造好了晶体管电路的硅片
接下来我们要在上面打出贯穿的孔洞
我们先在硅片表面涂抹光刻胶
然后用光刻机将要打洞的位置投影到光刻胶上面
背光照射的光刻胶就会变性
再使用显影液就可以将这部分的光刻胶清洗下来
这时会通入一种刻石气体
六伏化硅
六伏化硅在进入到工作枪室之后
会被枪室内的一个射屏线圈
电离出来浮自由机
这些浮自由机会和裸露的硅反应
产生气态似伏化硅
也就是说硅会被腐蚀掉
但是这个过程不只是纵向腐蚀
也会产生横向腐蚀
遮阳腐蚀下去产生的会是一个巨大的球星空腔
而不是我们想要的树脂衍生的洞
所以在通入六伏化硅气体一段时间之后
就要停止
然后再通入八伏环钉丸
八伏环钉丸同样会被电离
形成含浮碳的自由机
这些自由机会在硅表面重新聚集
形成一层保护膜
之后再次通入六伏化硅的腐蚀气体
只不过这次因为已经生成了保护膜
所以不会发生腐蚀
而在六伏化硅被电离的时候
除了会产生浮自由机之外
还会产生一些离子
此时在枪室内施加一个电厂
就可以引导这些离子向晶圆垂直俯冲
这些离子就会轰击保护膜的底部
将这部分的保护膜打掉
因为通过电厂定向引导
所以只有底部的保护膜会被打掉
侧面的保护膜还会保留
此时腐蚀气体就可以进一步向下腐蚀
重复上面的步骤就这样
腐蚀保护轰击
腐蚀保护轰击
这个洞就会逐渐向下延伸
这个龟片一般有七八百微米厚
这里打洞只会打个一百微米左右
后续还会将龟片从后面整个磨薄
让洞露出来
但是现在我们还不磨
我们还需要在洞里填充上铜
首先需要使用气象沉积技术
在打好的洞的内壁上
沉积一层二氧化硅的绝缘层
这层绝缘层非常致密
就像是给铜柱套了一层陶瓷管
把铜和硅完全隔开
但是这还不够
铜原子是非常不老实的
时间久了
铜就会慢慢往硅里面去扩散
一旦扩散进去
硅的晶体结构就会被破坏
所以在绝缘层和铜之间
还需要加一层阻挡层
通常是毯或者氮化毯
这个阻挡层极薄
只有几个纳米厚
但是可以有效阻止铜的扩散作用
最后为了能够让铜顺利填进去
还需要在阻挡层的表面
再层积一层极薄的铜种子层
之后就可以将硅片
抛到硫酸铜溶液里面
进行电镀
铜离子就会一点一点的
在孔底和孔壁上沉积下来
最后将孔洞彻底填满
最后将硅片整个磨薄
让孔洞和孔洞里的铜露出来
这样我们就在硅片上
打了一个贯穿的洞
并且在洞里面填充上了铜
现在我们就实现了单层芯片的制造
接下来会再暴露出来的铜柱表面
通过光刻和电镀工艺
长出微小的铜柱凸点
顶部再覆盖一层薄薄的锡
这些就是微凸点
然后我们可以将多个芯片
对叠在一起
对它们加热加压
微凸点上面的锡就会融化
然后焊接在一起
这样每一层芯片
就都被铜柱和微凸点连接在了一起
上层的数据可以一路向下穿透
最终传递到硅中介层上面去
那么此时
HBM的核心存储功能
其实已经成型了
但是这块芯片还非常脆弱
还不能直接使用
我们刚才说了
每一层芯片已经被我们打磨到了
几十个微米左右的厚度
并且芯片和芯片之间通过微凸点焊接
薄薄的芯片被细小的微凸点支起来
就像一片悬空的干海苔一样
稍有外力就会碎掉
而解决方案就是在这些空隙里面
做一些填充
让芯片不再悬空
而如何往里面填充东西
目前行业则有两个流派
目前能量产HBM芯片的
其实只有三家企业
SK海力士
三星
还有美光
SK海力士采取的方案是
先把所有的芯片一次性堆叠好
整体加热
让所有的微凸点同时焊接
然后将整体放入模具中
再灌入液态的还氧树纸
让还氧树纸流到芯片之间的缝隙里面去
之后再加热加压
让还氧树纸固化
而三星和美光则在两层芯片之间
夹了一层高分子薄膜
加热加压时薄膜融化
微凸点焊接
冷却后薄膜固化
然后再足层向上叠加
SK海力士采用的方案会更好一点
相比较三星和美光一层一层的焊
制造速度会快很多
并且在焊接的时候
芯片之间除了微凸点之外
没有别的东西捣乱
良率也会好很多
HBM是多个芯片堆叠在一起
所以芯片的散热是很大的问题
为了能有更好的散热
厂商会多做一些额外的通控
这些多出来的通控不是用来传输数据的
而是专门用来散热的
此外
SK海力士还在还氧数值里边
掺入了导热率高的颗粒
相当于把还氧数值做成了类似硅脂的东西
所以散热会更好
SK海力士生产的HBM的散热效率
是三星的两倍左右
这也让SK海力士成为了HBM市场的大拿
市占率在50%左右
通过硅中介层
HBM可以将位宽做到1024bit
而通过堆叠工艺
HBM则可以实现超大容量
这个GB300的服务器节点
每块HBM显存都堆叠了12层存储芯片
容量可以达到36GB
一颗GPU配置8块
就是288GB
一共有4颗GPU
那么总容量就是1152GB
超过1TB
就这么一个服务器节点
你说它得值多少钱呢?
达200万人民币
目前大规模使用的HBM是HBM3E
而各家现在已经开始生产HBM4的产品了
HBM4的显存带宽来到了2048bit
堆叠层数来到了16层
这就意味着HBM4会有更密集的走线
和堆起来更高的高度
HBM4目前仍然在使用这种微突点的建核技术
但很有可能是最后一代了
密集的走线会让微突点的间距越来越窄
这样在焊接的时候
就很有可能把两个微突点焊到一起
所以之后HBM的发展方向是去掉微突点
直接将打磨干净的铜怼到一起
让铜表面发生扩散
融合成一个整体
这样中间也不用再填充还氧树脂了
走线可以更密集
堆叠的高度可以更低
散热也可以更好
不过要到哪一带才能用上这种技术
也没有明确的时间点
其实几年前计划在HBM4上面就使用这种工艺的
但是现在也没有用上
目前各大头部企业都在积极布局
我们就拭目以待吧
好了
这就是本期视频的全部内容了
HBM有效助力了AI的发展
为AI提供了关键的算力基础设施
但它的生产工艺和设备与传统的D-ROM高度重叠
这就大量抢占了普通内存的产能
使得整个D-ROM市场供不应求
价格大幅上涨
那么你看好HBM的未来吗
或者说你看好AI的未来吗
好了各位
我们下期再见
再见