美光推新一代 HBM3 记忆体，推动生成式 AI 创新

▼

美光科技宣布推出业界首款第二代 8 层堆叠（8-High）24GB HBM3，并于今天开始送样。此产品频宽达 1.2TB/s 以上，每脚位传输速率超过 9.2Gb/s，较目前市面上的 HBM3 解决方案高出 50%。此外，美光第二代 HBM3 的每瓦效能较前几代产品提升 2.5 倍，刷新 AI 数据中心的关键性能、容量及功耗指标。美光指出，这些改进缩短了业界训练 GPT-4 等大型语言模型及其更高阶版本所需时间，帮助 AI 推论所需的基础硬件架构发挥最佳功效，并提供卓越的总体拥有成本（TCO）。

奠基于先进的1 DRAM制程节点，美光领先业界的HBM解决方案能在业界标准封装尺寸中，将24GB的晶粒组装为8层高度的立方体。美光12层堆叠（12-High） 36GB HBM3亦将于2024年第一季开始送样。

透过此堆叠高度，美光可提供较竞品解决方案高出50%的容量。美光第二代HBM3性能功耗比和每脚位传输速率的改善，对因应当前AI资料中心的高功耗需求而言至关重要。美光提供较现行HBM3解决方案多出一倍的直通硅晶穿孔（TSV）数量，又以五倍金属密度减少热阻抗，并采用高能效资料路径设计，实现功耗的改善。

身为2.5D/3D堆叠和先进封装技术的领导者，美光成为台积电3DFabric联盟的合作伙伴，携手塑造半导体和系统创新的未来。在第二代HBM3产品的研发中，美光与台积电的合作为顺利导入和整合AI及高效能运算设计应用的运算系统奠定了坚实基础。台积电已收到美光第二代HBM3样品，且双方正密切合作，以进行进一步的评估和测试，进而助力客户的次世代高效能运算应用创新。

在生成式AI方面，美光第二代HBM3亦能符合多模态数兆参数AI模型所需。公司指出，每组堆叠24GB的容量、大于9.2Gbps的每脚位传输速率除了能减少大型语言模型30%以上的训练时间，进而降低总体拥有成本外，也能大幅提升每日查询次数，让训练完成的模型在使用时更有效率。不仅如此，美光第二代HBM3傲视业界的每瓦效能也替现代AI资料中心扎实省下营运费用：若以装设1,000万个GPU计算，每组堆叠节能5瓦，预计将能在五年内省下多达5.5亿美元的营运成本。

美光副总裁暨运算产品事业群总经理Praveen Vaidyanathan表示，美光第二代HBM3的研发重点，在于为客户及业界提供卓越的AI及高效能运算解决方案；美光所考虑的一项重要标准，就是第二代HBM3产品能否轻松与客户平台整合。对此，记忆体内建的自我测试（MBIST）不仅可彻底程式化，还能以规格中的最高每脚位传输速率进行测试，有助于改善与客户的测试能力，提升协作效率，并缩短上市时间。

NVIDIA超大规模与高效能运算副总裁Ian Buck表示，生成式AI的核心是加速运算，而这种运算则受益于具有高频宽及能源效率的HBM；NVIDIA与美光在广泛产品领域的合作已行之有年，也渴望能在第二代HBM3上持续合作，以推动AI创新。

美光运用其全球工程组织开发这项突破性的产品，包含于美国进行设计和制程研发、于日本进行记忆体制造，及于中国台湾进行先进封装。继采用1制程节点24Gb单体式DRAM晶粒的96GB DDR5模组问世，以支援高容量需求的服务器解决方案后，美光今日又宣布推出基于1制程节点24Gb晶粒的24Gb HBM3产品，为美光业界技术领先地位立下新的里程碑。

美光也计划于2024年上半年推出采用1制程节点32Gb单体式DRAM晶粒的128GB DDR5模组。这些产品展示了美光在AI服务器领域的领先技术创新。

（本文由 MoneyDJ新闻 授权转载；首图来源：达志影像）

延伸阅读：

• AI 浪潮带动服务器记忆体 HBM DDR，哪些台厂最受惠？

▼

   特别声明    本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。