GPU 与各类高端 AI 芯片始终受困于内存容量不足的难题。当下数据中心所用设备可堆叠 12 层 DRAM 存储裸片；但存储厂商若想进一步增加堆叠层数，以此提升存储容量与带宽，业内专家担忧，这种高带宽内存（HBM）会积聚大量热量，最终因高温失效。若芯片厂商选择将 HBM 堆叠在本就高热的处理器上方以拉高带宽，而非并排摆放，散热问题还会进一步恶化。

全球各地工程师正研发替代方案：不再将 DRAM 裸片逐层垂直叠放，改为横向并排堆叠。业界希望借此把极易积热的高塔式内存结构，改造为散热更均衡的立方体硅基散热阵列。

在上月举办的 IEEE 超大规模集成电路研讨会上，两支研究团队分别展示了两种横向堆叠芯片技术路线。韩国研究团队预测，一款名为 V-Die 的横向堆叠内存，相比当前最先进的 HBM4，数据传输速度可提升 82%；日本工程师则表示，他们研发的 MOSAIC 架构内存，存储容量可达 HBM4 的两倍，芯片峰值温度增幅仅 1℃左右。

高带宽内存（HBM）现存痛点

现有 HBM 由多层 DRAM 硅裸片堆叠在基底裸片上构成。基底裸片负责为堆叠层供电，并统筹与处理器的数据交互。电能与数据通过贯穿每一层裸片的垂直通道 —— 硅通孔（TSV），送达堆叠层内部。各存储裸片之间、裸片与基底裸片之间，依靠微型焊锡凸点连通硅通孔，实现信号互通。

以英伟达 B300 这类主流 AI 加速器为例，芯片两侧搭配 8 组 HBM 堆叠，每组包含 12 层裸片，单组容量 36GB。所有内存堆叠与 GPU 放置在同一块基板上，依靠宽度 2048 微米的线路，跨越数毫米间距传输数据。采用 HBM4 方案时，GPU 与内存间的数据吞吐速率可达每秒 2800GB。

但这套方案已无法满足未来需求。韩国蔚山国立科学技术院博士生梁熙秀在研讨会上表示：“AI 模型规模正呈爆炸式增长，可内存容量与带宽难以跟上需求，形成严重性能瓶颈。”

HBM 最亟待解决的问题是高温散热。填充在裸片缝隙间的介质，热阻约为硅基板的 100 倍，热量难以向上传导至处理器封装的散热片散出。虽然存在若干缓解方案，但随着厂商不断增加堆叠层数提升容量，散热压力只会持续加剧。

蔚山国立科学技术院权智敏实验室的学生梁熙秀还指出，增加堆叠层数会催生另一重矛盾：存储容量与带宽难以兼顾。层数越高，所需硅通孔数量越多，会挤占用于存储数据的硅片面积。

V-Die 横向堆叠内存

上月，权智敏团队联合大田韩巴国立大学的金成柱，发布了一套解决 HBM 未来缺陷的全新方案 ——V-Die。该架构采用纵向排布 DRAM 裸片，层间内置微流控散热通道，可将芯片温度稳定控制在 45℃，远低于现有内存普遍 80℃以上的峰值温度。

梁熙秀介绍，该方案的存储裸片经过全新设计：无需垂直连通的硅通孔，节约出大量硅片面积用于布置存储单元；同时每一层裸片都配备独立输入输出（I/O）系统，彻底省去基底裸片。整套输入输出电路排布在裸片底边，每隔 20 微米就有一组链路连接承载 GPU 的硅基板。团队测算，这种布线架构的连接通道数量是 HBM4 的 4 倍，内存读取耗时缩短 37%，唯一短板是部分数据需要多传输数毫米才能抵达处理器。

研究团队基于英伟达 H100 GPU 搭建 AI 计算平台，模拟 16 层裸片堆叠后的整机性能。在运行等效 GPT-3 规模大语言模型负载时，同等存储容量下，V-Die 架构每秒可处理 540 个文本 token，而 HBM4 仅为 296 个；同时首 token 输出延迟降低 32%，约缩短 24 毫秒。

目前用于验证热学、电学特性的 V-Die 原型芯片正在研发中。

横向堆叠的互连方案

这类三维 DRAM 也被称为体式 DRAM，制作流程为先将裸片逐层垂直堆叠，再把整套堆叠结构侧放，对接基板或处理器芯片。比利时微电子研究中心（IMEC）项目主管詹姆斯・迈尔斯表示，该工艺会带来复杂的集成难题。迈尔斯团队此前已攻克 GPU 上方堆叠 DRAM 的散热问题，目前正研究纵向裸片在该场景下的应用。他称：“裸片厚度必须精准控制，哪怕各层 DRAM 裸片仅存在数微米的厚度差，组装对接基板时就会出现偏差；若堆叠内多层裸片厚度参差不齐，会直接导致焊盘对接失效。”

来自东京大学、东北大学与日本理化学研究所的联合团队，在 IEEE 超大规模集成电路研讨会上提出一种创新方案，缓解对接精度难题。该方案摒弃裸片底部与基板直接电气互连的方式，采用感应耦合收发系统传输信号。研究团队在存储裸片一侧制作尺寸约 80 微米 ×240 微米的长条形感应线圈，同时在基板上垂直布置配套线圈；一组线圈通入电流后产生磁场，即可在另一组线圈中感应出数据信号。线圈无需完全精准对位，内存与基板的组装容错空间大幅提升。

东京大学博士生米平由纪在研讨会上补充，供电线路数量更少、占用面积更大，统一布置在内存立方体的侧边。

MOSAIC 架构专为贴合 GPU 顶部设计，单块立方体可集成 98 层裸片，总容量 294GB。该方案未内置微流控散热结构，但热量可沿硅基阵列自然向上散出，芯片峰值温度控制在 81.3℃，接近当前 80℃的主流温度上限。米平由纪还提到，若将每层 DRAM 裸片厚度削减三分之二至 100 微米，同等体积的 MOSAIC 立方体可集成 294 层裸片，总容量可达 882GB。