英特尔发表 Aurora 超级电脑 AI 模型,目标产生 1 兆参数

英特尔发表 Aurora 超级电脑 AI 模型,目标产生 1 兆参数

英特尔 (Intel) 公布为美国地区阿贡实验室 (Argonne National Laboratory) 建置 21,248 个 Xeon CPU 和 63,744 个 GPU、超过 2 ExaFlops 算力的 Aurora 超级电脑后,也公布 Aurora 超级电脑产生的全新科学生成 AI 模型──Aurora genAI

外媒报道,具 2 ExaFlops 算力的 Aurora 是超级电脑怪兽,Aurora 执行的 Aurora genAI 模型,将以通用内容、科学内容、科学数据和与相关内容训练,代表 Aurora genAI 将是纯科学应用模型,于系统生物学、癌症研究、大气科学、天文学、高分子化学与材料科学等领域发展。英特尔发表 Aurora 超级电脑 AI 模型,目标产生 1 兆参数 AI与大数据 图2张

先来谈谈超级电脑 Aurora。英特尔透露,Aurora 超级计算机将封装共 10,624 个节点,包括采 Sapphire Rapids-SP 系列的 21,248 个 Xeon CPU,以及采 Ponte Vecchio 设计的 63,744 个 GPU。系统是超大结构互连设备,2.12PB/s 高峰输入频宽和 0.69PB/s 高峰负载平衡频宽。

内建记忆体方面,Aurora 超级计算机配备 10.9PB DDR5 系统 DRAM、1.36PB CPU HBM 容量和 8.16PB GPU HBM 容量。系统 DRAM 达 5.95PB/s 高峰频宽,CPU HBM 达 30.5PB/s 高峰频宽,GPU HBM 也达 208.9PB/s 高峰频宽。储存方面,230PB DAOS 储存容量,可以 31TB/s 高峰频宽执行。英特尔发表 Aurora 超级电脑 AI 模型,目标产生 1 兆参数 AI与大数据 图3张

藉 Aurora 超级电脑的强大运算效能,英特尔基于 Megatron 和 DeepSpeed 的 Aurora genAI 模型目标是产生 1 兆个参数量。ChatGPT 免费和公共版参数目标仅 1.75 亿。透过 Aurora genAI 产生如此大参数量,英特尔希望提供数百万来源的综合知识,以提供纯科学应用发展建议与参考方向。

(首图来源:英特尔)

   特别声明    本页内容仅供参考,版权终归原著者所有,若有侵权,请联系我们删除。