台积电 4 奈米助攻，辉达 H100 NVL 运算加速卡训练语言模型效率倍增
▼
辉达在 GTC 2023 上宣布，针对大型语言模型训练（LLM）推出的全新 H100 NVL 运算加速卡。其搭载了两个基于 Hopper 架构的 H100 晶片，另外配备了 3 个 NVLink 连接器，在服务器里使用了两个相邻的 PCIe 全长插槽。
事实上，辉达 2022 年就推出了 H100，拥有 800 亿个电晶体，相比上一代的 A100，有着 6 倍的性能提升以及 2 倍的 MMA 改进。其采用了 CoWoS 2.5D 晶圆级封装，单晶片设计，以台积电为辉达量身定制的 4 奈米节点制程来生产。而这次双 GPU 版本除了更高的运算效能，加上提供了 188GB 的 HBM3 显示记忆体，也成为其优势之一。
根据辉达所公布的资料，H100 NVL 计算加速卡的 FP64 计算性能为 134 teraFLOPS，TF32 计算性能为 1979 teraFLOPS，FP8 计算性能为 7916 teraFLOPS，INT8 计算性能为7 916 teraFLOPS，表现是 H100 SXM 的两倍。其具有完整的 6144 位显示记忆体介面，显示记忆体传输速率可达 5.1Gbps，代表着最大资料传输速度为 7.8GB/s，是 H100 SM3 的两倍多。由于大型语言模型训练需要更大的缓冲区和更高的频宽，所以更大的显示记忆体将会对运算有所影响。
根据目前的资料得知，H100 NVL 计算加速卡的功耗略高 于H100 PCIe（350W）的两倍或以上，在 700W 至 800W 之间。而辉达计划在 2023 年下半年推出 H100 NVL 计算加速卡，不过暂时没有进一步提供任何的细节。
(首图来源：官网)
▼
特别声明 本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。
