美光探索GPU近存NAND闪存，用于运行更大规模大语言模型
据报道，美光正在探索研发高耐久度 NAND 闪存模块的方案：将闪存部署在更靠近 GPU 的位置，而非远端存储池、经过多层协议转发访问。该公司正在研究把 NAND 闪存向 GPU 侧迁移，用于处理那些不需要传统 HBM 或者普通 DRAM 所具备的低延迟、高带宽的业务负载。
这套架构目前被称作GPU 近存 NAND（near‑GPU NAND），定位在存储密度与耐久度之间的折中方案。该构想下的 NAND 闪存，存储密度不及传统 TLC、QLC NAND，但重点优化 I/O 速度、带宽以及读取时延。
举例来说，该方案可以让 GPU 直接访问位于 GPU 封装内部或者 PCB 板上的数百 GB 存储池，实现方式类似 HBM、GDDR7、LPDDR6 这类 DRAM。这一存储层级介于 GPU 显存与普通系统存储之间，充当高速缓冲，非常适合超大规模大语言模型（LLM）推理任务。
采用该方案后，大语言模型将不再受显存容量约束，可以在 GPU 数量更少的系统上运行，依靠多层级存储 / 内存架构来满足推理所需的容量。此外，这类 NAND 闪存的成本远低于 HBM 与普通 DRAM，并且可以依据系统规格灵活配置容量。下方配图为海力士与闪迪的 HBF 技术演示幻灯片。
并非只有美光在研究该技术。例如，SK 海力士与闪迪已经推出高带宽闪存（HBF）概念，通过把 NAND 向 GPU 靠近、使用更高耐久的 NAND 介质，拓展 GPU 的 HBM 内存空间。所有入局该方向的厂商都需要攻克带宽与耐久度的短板，才能让 HBF 或者 GPU 近存 NAND 成为 HBM 内存有价值的补充方案。
加入微信
获取电子行业最新资讯
搜索微信公众号：EEPW
或用微信扫描左侧二维码
