NVIDIA H100 首次亮相 MLPerf，测试结果刷新纪录

▼

MLCommons 社群 9 日发表最新 MLPerf 2.1 基准测试结果，有近 5,300 个性能结果和 2,400 个功耗结果，各比上一轮提升 1.37 倍和 1.09 倍，MLPerf 适用范围再扩大。

阿里巴巴、华硕、微软Azure、壁仞科技、戴尔、富士通、技嘉、H3C、HPE、浪潮、英特尔、Krai、联想、Moffett、Nettrix、Neural Magic、NVIDIA、OctoML、高通、SAPEON 和 Supermicro 是本轮测试贡献者。

NVIDIA表现依然亮眼，首次携H100参加MLPerf测试，就在所有工作负载刷新世界纪录。

H100打破世界记录，较A100性能提升4.5倍

NVIDIA 3月发表基于新架构NVIDIA Hopper的H100 GPU，与两年前NVIDIA Ampere架构相比，有数量级性能飞跃。黄仁勋曾在GTC 2022表示，20个H100 GPU便可负担全球网络流量，帮助客户推出先进推荐系统与即时运算推理的大型语言模型。

让AI业者期待的H100原定第三季上市，目前接受预定，用户真实使用方式和H100实际性能尚不知，可透过最新MLPerf测试窥见一点H100的性能。

与英特尔Sapphire Rapids、高通Cloud AI 100、Biren BR104、SAPEON X220-enterprise相较，NVIDIA H100不仅提交资料中心所有六个神经网络模型的测试成绩，且单个服务器和离线场景均展现传送量和速度的领先优势。

以NVIDIA A100为例，H100在MLPerf模型规模最大且对性能要求最高的模型之一──自然语言处理BERT模型表现4.5倍性能提升，其他五个模型也有1~3倍性能提升。H100能BERT模型表现出色，主要归功于Transformer Engine。

其他提交成绩的产品，只有Biren BR104在离线场景ResNet50和BERT-Large模型，比NVIDIA A100性能提升一倍多，其他产品均未超越A100。

资料中心和边缘计算场景，A100 GPU成绩依然不俗，得益于NVIDIA AI软件不断改进，与2020年7月首次亮相MLPerf相比，A100 GPU达成6倍性能提升。

追求AI通用性，测试成绩包括所有AI模型

由于使用者实际应用通常要不同类型神经网络合作，如一个AI应用可能需理解使用者语音请求、图像分类、提出建议，然后以语音回应，每个步骤都会用到不同AI模型。

MLPerf基准测试涵盖计算机视觉、自然语言处理、推荐系统、语音辨识等流行AI任务和场景，以便确保用户有可靠且灵活的性能。测试成绩包括模型越多，成绩越好，AI能力通用性更佳。NVIDIA AI依然是唯一于资料中心和边缘计算运算所有MLPerf推理任务和场景的平台。

资料中心方面，A100和H100都提交六个模型测试成绩。边缘计算方面，NVIDIA Orin运算所有MLPerf基准测试，是所有低功耗系统级晶片成绩最好的。Orin是将NVIDIA Ampere架构GPU和Arm CPU内核整合成一颗晶片，主要用于机器人、自动机器、医疗机械和其他边缘嵌入式计算。

Orin已用于NVIDIA Jetson AGX Orin开发者套件及机器人和自动系统生成模考，并支援完整NVIDIA AI软件堆叠，包括自驾车平台、医疗设备平台和机器人平台。与4月MLPerf首次亮相比，Orin效能提高50%，运算速度和平均能效比上一代Jetson AGX Xavier模组高5倍和2倍。

追求通用型的NVIDIA AI由业界机器学习生态系统支援。这轮基准测试超过70项结果在NVIDIA平台运算，如微软Azure提交云端服务运算NVIDIA AI的结果。

（本文由 雷锋网 授权转载；首图来源：NVIDIA）

▼

   特别声明    本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。