AI 发展驱动高效能运算需求提升，仰赖 HBM 与 CXL 优化硬件效能

▼

根据 TrendForce 最新发表的服务器报告指出，近几年受到新兴应用的激励，加速了人工智慧及高效能运算的发展，且伴随着仰赖机器学习及推论的需求提升，建构出的模型复杂度随着需求的精细程度有所增加，因此在计算时需处理的资料量随之增大。在此情境下，庞大的资料处理量受硬件效能局限， 导致使用者在设备的建置面临了效能、容量、延迟度以及成本间的取舍问题，刺激 HBM（High Bandwidth Memory）及 CXL（Compute Express Link）的出现。功能上来说，HBM 为新型态记忆体， 主要协助更多元、高复杂运算而需要的I/O辅助，而 CXL 则为使记忆体资源共享的协定，提供 xPU 更为便捷的应用。

现行DRAM架构垂直堆叠，HBM突破现有解决方案的频宽限制

为了不受限于传统记忆体的频宽束缚，记忆体原厂开发了HBM，其结构为基本逻辑颗粒上连接数层的DRAM裸晶，而DRAM裸晶之间以硅通孔及微凸块3D堆叠达到高频宽设计，层数又以4层及8层为主流。而以现行世代来看，HBM2e为目前最新的量产世代，单层16Gb的裸晶堆叠4层或8层，使得单颗容量分别为8GB及16GB，频宽可达410~460GB/s，而下一代HBM3已进入机构件送样阶段，可望于2022年量产。

根据TrendForce观察，2021年HBM位元需求占整体DRAM市场仍未达1%，主要包含两大原因：首先是消费级应用因成本考量下几乎未采用HBM，其次是服务器市场中做为AI功能的建置低于1%，意即服务器搭载相关AI运算卡的比重仍小于1%，且多数记忆体仍使用GDDR5（x）、GDDR6来支持其演算力。

展望未来，虽然HBM仍在发展期，但随着应用对AI的依赖度增加（包含模型复杂化来优化AI精准度），需要HBM的加入来支援硬件。其中， 以与AI最相关的FPGA和ASIC来看，FPGA产品有Intel的Stratix、Agilex- M以及Xilinx的Versal HBM导入HBM；而ASIC方面，多数资料中心在AI的建置中， 逐渐以自研的ASIC晶片为发展方向，例如Google的TPU、Tencent的邃思、Baidu的昆仑皆使用HBM。再者，Intel的server CPU Sapphire Rapids亦规划于2022年底释出带HBM的高阶版本。TrendForce认为，HBM有助于突破AI发展中受限的硬件频宽瓶颈，未来市场上将出现更多相关应用。

高速运算催生的新协定，CXL将更有效整合系统中的运算资源

CXL则是基于PCIe Gen5规格演变的协定，让CPU及其他加速器（例如GPU、 FPGA等之间）建立高速、低延迟的互联性，使其各自的记忆体模拟成一个共用的空间，允许记忆体资源共享，降低系统成本并获得更高的性能，有利于解决AI及HPC的工作负载。

而市场上类似概念的记忆体资源共享协定并非只有CXL提出，NVIDIA的NVLink、AMD及Xilinx的Gen- Z，皆凸显大厂对系统资源整合的重视。然而，TrendForce认为，CXL能由众多协定中脱颖而出的主要原因，来自于其协定为Intel提出，而该公司在CPU市场占有高采用率的优势，Intel CPU支援的号召能使得CXL及其相关硬件设备商得以自上而下的统合，因此相继获得AMD、ARM、NVIDIA、 Google、Microsoft、Meta（Facebook）、 Alibaba、Dell等公司的加入，成为目前呼声最高的记忆体协定。

在允许CPU及其他硬件进行记忆体资源整合下，利于降低各硬件间的通信延迟，也能提高AI及HPC发展需要的计算性能。为此，Intel将在下一代服务器CPU Sapphire Rapids中支援CXL，而记忆体原厂亦规划支援CXL的产品方案，其中，三星（ Samsung）宣布将推出支援CXL的DDR5模组，用以扩张服务器记忆体容量，满足AI运算需要的庞大记忆体需求。未来CXL亦有机会推及至NAND Flash的方案支援，使得DRAM及NAND Flash双双受惠。

HBM及CXL互动合作有利于AI发展，实际应用于2023年将更有能见度

TrendForce认为，CXL导入将随着未来CPU内建CXL功能而普及化，而未来AI服务器的硬件建置，将能见到更多同时采用HBM及CXL的设计。其中HBM能分别增加CPU及加速器各自的频宽，加速资料处理速度；CXL则建立彼此间沟通的高速互联性，两者互动有助于扩展AI演算力加速AI发展。

在记忆体资源共享下，模型的设计能摆脱硬件瓶颈，持续往更复杂的架构建设。TrendForce预估， 随着支援CXL的Intel CPU Sapphire Rapids导入达一定覆盖率，以及记忆体原厂陆续量产更高频宽的HBM3及具备CXL功能的D RAM与SSD，2023年可望于市场上见到更多HBM及CXL合作使用的应用。

（首图来源：shutterstock）

▼

   特别声明    本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。