加速生成式 AI 部署!Supermicro 推三款基于 Nvidia 技术解决方案
▼
美超微(Supermicro)宣布推出最新产品组合,加速生成式 AI 部署。美超微指出,其 SuperCluster 解决方案为现今及未来大型语言模型(LLM)硬件基础设施提供核心建构组件。
Supermicro 三款 SuperCluster 解决方案现已上市。首先是配置 4U 液冷系统的 5 组机柜,或者 8U 气冷系统的 9 组机柜型SuperCluster,都是专为强大 LLM 训练性能及高度批次大小且大量的 LLM 推论所设计;此外,配备 1U 气冷 Supermicro NVIDIA MGXTM 系统的第三款 SuperCluster 超级丛集,则针对云端级推论进行了最佳化。
Supermicro 执行长梁见后表示,在 AI 时代,运算力单位是以丛集衡量,不再只用服务器数量做为依据。公司全球制造产能已扩大到每月 5,000 台机柜,能比以往更快地为客户提供完整生成式 AI 运算丛集。
NVIDIA GPU 产品部门副总裁 Kaustubh Sanghani 则表示,NVIDIA 最新型 GPU、CPU、网络与软件技术助力能让系统制造者为全球市场内不同类型的下一代 AI 工作运行实现加速。透过结合基于 Blackwell 架构产品的 NVIDIA 加速运算平台,Supermicro 能提供客户所需要的前沿服务器系统,且这些系统可容易地被部署至资料中心。
Supermicro 指出,Supermicro 4U NVIDIA HGX H100/H200 8-GPU 系统透过液冷技术使 8U 气冷系统运算密度加倍,同时降低能耗量与总体拥有成本(TCO)。这些系统旨在为了支援下一代 NVIDIA 的 Blackwell 架构 GPU。此散热技术可使一整座资料中心电力成本降低最多 40%,同时节省资料中心占地空间。同时,也非常适合用于训练生成式 Al。
另采用 NVIDIA GH200 Grace Hopper Superchip 的 Supermicro NVIDIA MGX™ 系统设计,能打造未来 AI 运算丛集的架构样式,解决生成式 AI 的关键瓶颈:运行高推论批次大小的 LLM 所需的 GPU 记忆体频宽及容量,进而降低营运成本。具 256 节点的运算丛集能实现云端级大量推论算力引擎,并易于部署与扩充。
(首图来源:AI资源网)
延伸阅读:
- 新安全漏洞 GoFetch 攻击苹果晶片!M1、M2、M3 处理器无一幸免
- 智慧友达展 3/25 登场,首展生成式 AI 赋能解决方案
▼
特别声明 本页内容仅供参考,版权终归原著者所有,若有侵权,请联系我们删除。