NVIDIA 发表全新 H200 GPU,采 HBM3e、运算推理速度翻倍

NVIDIA 发表全新 H200 GPU,采 HBM3e、运算推理速度翻倍

NVIDIA 13 日推出 AI 运算平台 HGX H200,采 Hopper 架构,配备 H200 Tensor Core GPU 和高阶记忆体,以处理 AI 和高效能运算产生的大量资料。NVIDIA 对上一代 H100 进行升级,记忆体频宽提高 1.4 倍、容量提高 1.8 倍,提升处理密集型生成式 AI 工作的能力。

H200 对内建记忆体改变带来有意义的升级,首次采用 HBM3e 记忆体规格,使 GPU 记忆体频宽从 H100 的每秒 3.35TB 提高至 4.8TB,记忆体总容量也从 H100 的 80GB 提高至 141GB,与 H100 相比,对 Llama 2 模型的推理速度几乎翻倍。

“整合更快、更广泛的 HBM 记忆体有助于对运算要求较高的任务提升效能,包括生成式 AI 模型和高效能运算应用程式,同时优化 GPU 使用率和效率”,NVIDIA 高效能运算产品副总裁 Ian Buck 表示。

H200 还能与已支援 H100 的系统相容,NVIDIA 表示,云端服务商将 H200 新增到产品组合时不需要进行任何修改。首批 H200 预计 2024 年第二季出货,NVIDIA 服务器制造伙伴(包括永擎、华硕、戴尔、Eviden、技嘉、HPE、鸿佰、联想、云达、美超微、纬创资通以及纬颖科技)可以使用 H200 更新现有系统,而亚马逊、Google、微软、甲骨文等将成为首批采用 H200 的云端服务商。

新晶片推出肯定很昂贵,NVIDIA 没有列出它的价格,国外媒体 CNBC 报道则称,上一代 H100 价格估计为每个 25,000 美元至 40,000 美元。NVIDIA 发言人 Kristin Uchiyama 指出,最终定价将由 NVIDIA 制造伙伴制定。

H200 亮相后不会影响 H100 生产,“你会看到我们全年的整体供应量有所增加”,Kristin Uchiyama 谈道。

NVIDIA 晶片被视为高效处理大量资料和训练大型语言模型、AI 生成工具最佳选择,在发表 H200 之际,AI 公司仍在市场上拼命寻求 H100。于是市场关注焦点仍在于,企业客户是否能够顺利获得新晶片,还是会像 H100 一样有供不应求的状况,对此 NVIDIA 并没有给出答案。

明年对 GPU 买家而言将是一个更有利时期,《金融时报》8 月报道曾指出,NVIDIA 计划在 2024 年将 H100 产量成长三倍,产量目标将从 2023 年约 50 万个增加至 2024 年 200 万个。但生成式 AI 仍在蓬勃发展,需求可能只会更大。

随着 H200 推出,NVIDIA 13 日股价一度上涨 1.5%,今年到目前为止,NVIDIA 股价已经上涨超过 200%,也成为费城半导体指数至今表现最好的公司。

  • NVIDIA Upgrades Processor as Rivals Challenge AI Dominance
  • NVIDIA unveils H200, its newest high-end chip for training AI models
  • NVIDIA is launching a new must-have AI chip —as customers still scramble for its last one

(首图来源:NVIDIA)

   特别声明    本页内容仅供参考,版权终归原著者所有,若有侵权,请联系我们删除。