买不到 H100 GPU？NVIDIA 推租赁 DGX Cloud 提供人工智慧算力

▼

外电报道，GPU 大厂辉达 (NVIDIA) 现在正在向那些渴望使用其硬件和软件的对象，出租其自主研发的人工智慧解决方案。这个被称之为 “DGX Cloud” 的云端运算服务将内含其高性能人工智慧硬件，包括目前供不应求的 H100 和 A100 GPU 算力。用户将能够借由辉达自己的云端基础设施或甲骨文 (Oracle) 的云端运算服务来租用该系统。

报道引用辉达 DGX 平台总监 Tony Paikeday 的说法指出，DGX Cloud 在全球都可租用，但受美国出口管制的地区除外。而该云端运算服务将在辉达的云端运算基础设施中提供，其中包括位于美国和英国的 DGX 系统，而 DGX Cloud 也将借由甲骨文云端运算服务来提供。

辉达 3 月 GTC 会议首次宣布了 DGX 云端运算服务，随后宣布推出该服务。日前正式宣布提供该项服务，这是继该公司发表一系列云端人工智慧服务之后所宣布的最新计划。竞争对手 Cerebras Systems 于中东云端提供商 G42 云端运算服务安装人工智慧系统，提供 36exaflops 算力。特斯拉 (TESLA) 也宣布生产 Dojo 超级电脑，搭载自研 D1 晶片，到 2024 年底可提供 100exaflops 算力。

DGX Cloud 租赁计划包括使用辉达云端人工智慧系统，每个服务器都有 H100 或 A100 GPU 和 640GB GPU 记忆体，可运行 AI 应用程式。辉达目标是像工厂运行人工智慧基础设施，输入数据材料后，输出资料使用者可使用的可用资讯，更不用担心软件和硬件效能不足。

Paikeday 强调，DGX Cloud 满足关键需求，就是大型复杂生成式人工智慧训练模型的多节点训练专用计算，企业还将获得深厚的技术专业知识，部署支援此类工作环境。DGX Cloud 租赁价格为每月每个应用 36,999 美元，约是微软 Azure ND96asr 两倍。微软 Azure ND96asr 配备 8 个 Nvidia A100 GPU、96 个 CPU 内核和 900GB RAM，每月费用为 19,854 美元，DGX Cloud 基本价格包括 AI Enterprise 软件，提供大型语言模型和工具开发 AI 应用程式。

DGX Cloud 租赁还有 Base Command Platform 软件介面，以便公司管理和监控 DGX Cloud。Oracle Cloud 有高达 512 个辉达 GPU 丛集，每秒 200GB RDMA 网络，支援多系统（如 Lustre）。相较 DGX Cloud，虽然大型云端运算服务供应商都有建置 Nvidia H100 和 A100 GPU，但与 DGX Cloud 不同，仅自行训练人工智慧模型，并不提供客户使用。

Google 今年稍早发表 26,000 个 Nvidia H100 Hopper GPU 的 A3 超级电脑，规格类似辉达 DGX Superpod，跨越 127 个 DGX 节点，每个节点配备 8 个 H100 GPU。亚马逊 AWS EC2 UltraClusters 系统也采用 H100 GPU。

各界对辉达人工智慧硬件需求大增，因急于用生成式人工智慧发展各种领域。OpenAI ChatGPT 以聊天机器人展示人工智慧多强大，医疗保健、保险和金融等市场都出现新应用。Paikeday 指出，辉达希望 DGX Cloud 吸引更多生成式人工智慧客户和业务上云。

(首图来源：NVIDIA)

▼

   特别声明    本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。