第三代晶圆级晶片 Cerebras WSE-3 问世,减少 AI 模型训练时间

第三代晶圆级晶片 Cerebras WSE-3 问世,减少 AI 模型训练时间

半导体创新企业 Cerebras 宣布,推出第三代晶圆级晶片 WSE-3,以相同功耗比较,比上代 WSE-2 晶片性能翻倍成长。

Cerebras 指 WSE-3 采台积电 5 奈米,容纳 4 亿个电晶体于单一晶片,并 90 万个 AI 运算核心。44GB 暂存记忆体,可搭配 1.5TB / 12TB / 1.2PB 外接储存方案,最高 125PFLOPS AI 算力。

WSE-3 的 CS-3 系统凭最高 1.2PB 外接记忆体,可训练比 GPT-4Gemini 大十倍的下代人工智慧模型,单逻辑记忆体空间容纳 24,000T 的参数规模模型,大大简化开发人员工作。

CS-3 也适合超大规模 AI 运算需求,四系统丛集架构可一天内微调 70B 模型,最大规模 2,048 个 CS-3 系统丛集时,一天内可训练 Llama 70B 模型。

Cerebras CS-3 系统有卓越易用性,大模型训练代码较 GPU 减少 97%,仅需 565 行代码就可达成 GPT-3 模型标准。阿拉伯联合大公国 G42 财团表示将打造 Cerebras CS-3 组成的 Condor Galaxy 3 超级电脑,含 64 个系统,可提供 8exaFLOP 的 AI 算力。

(首图来源:Cerebras)

   特别声明    本页内容仅供参考,版权终归原著者所有,若有侵权,请联系我们删除。