专攻资料中心推荐系统的 IC 设计新秀创鑫智慧，它凭什么能在“高能效”打败 NVIDIA

▼

今年初开放工程联盟（MLCommons）的MLPerfAI推论（inference）效能基准测试中，有一间中国台湾公司端出了世界第一个专为资料中心推荐模型（Recommendation Model）设计的AI晶片RecAccelN3000 的测试数据，并在服务器领域的能源效率（energy efficiency）打败辉达（NVIDIA），成为世界第一能效的 AI 加速平台－它就是IC 设计新秀“创鑫智慧”。

响应半导体射月计划成立创鑫智慧

说起自 2019 年成立的创鑫智慧，技术长高肇阳分享，创鑫智慧成立的契机，要把时间轴拉回 2018 年科技部长陈良基推动的半导体射月计划来说。那时候还在清华大学资工系任教的教授林永隆响应计划，号召几位已经有工作经验的工程师一起来执行计划，而这个计划与其他计划的不同之处，在于计划需要与产业连接，也就是一开始就要设定产学界合作的实际方向。

他口中的林永隆正是创意电子的共同创办人之一。事实上，创鑫智慧是林永隆退休后的第二次创业，高肇阳指出，最初团队是跟硅谷一家做语音 IC 的大厂合作，共同开发第一颗可以做序列式资料（sequence data）的 AI 处理晶片，可以广泛用在边缘装置（Edge Device）的终端产品，像是有麦克风的地方就可以应用这类的产品。

创鑫智慧提供一个 IP 整进对方的晶片，现在这颗晶片很成功，已经在量产。高肇阳指出，到了 2019 年，创鑫智慧就正式从清华大学分拆出来，并获得投资人的支持，因此开始思考下一轮产品研发方向，锁定的就是 AI 边缘装置的终端产品，会选择资料中心（data center）专用的 AI 晶片，主要就是因为中国台湾产业在这方面的着墨较少，目标要切入一个适合新创发挥的新舞台。

资料中心 AI 推论 60% 工作量在推荐系统

锁定资料中心的 AI 晶片后，高肇阳说明，团队开始收集适合的资料，发现 Google 就曾说资料中心每日的 AI 推论的计算，超过 60% 是在做深度学习（DLRM）的推荐系统，而 Facebook 母公司 Meta 公布的资料显示，资料中心每日 AI 的工作量有 70% 以上是推荐系统。

高肇阳分享，从使用者的角度，其实可以深刻感受到这件事，因为当使用者在滑手机 App 时，页面就会一直出现新闻、广告、音乐、购物的推播，这些背后全部都是推荐系统。若从 Google 的使用经验来看，当使用者输入关键字，每个人看到的页面显示结果都不太一样，所以可以想像推荐系统的应用很广，代表整个资料中心提供的主要服务就是推荐系统，因此锁定推荐系统用的专用 AI 晶片。

最重要的是， Facebook 在 2019 年曾在开放运算计划（Open Compute Project）公开征求推荐系统的专用晶片，高肇阳指出，创鑫智慧因此看到市场的趋势所在，所以决定从边缘运算端切换到资料中心。

创鑫智慧专攻推荐系统做到世界第一

选定公司接下来发展的主轴后，创鑫智慧用短短四年就成功打造出 AI 晶片。创鑫智慧的这颗 AI 晶片的效能是 2.44 倍，内含 16 万个乘加器（MAC）及 150MB 记忆体，只需要 20Watt，每秒便可进行 2,000 万次 DLRM 推论，为全球唯一可达到每秒单一推论能耗 1 微焦耳，具备运算速度快、高效能、高省电的特点，并在 2022 年宣布投产台积电 7 奈米制程。当时， 7 奈米一片晶圆代工价格就超过 40 万元，一家大众都不熟悉的新创公司竟然有能力采用 7 奈米制程，令业界刮目相看。

针对创鑫智慧这颗在省电“高能效”拼出世界第一的 AI 晶片关键技术所在，高肇阳分享，辉达生产的是图形处理器（GPU），可以做的事情很多很广，但是创鑫智慧做的是特定应用积体电路（ASIC），专门针对推荐系统的软件、硬件、架构、资料流、精准度等应用，特地优化设计出来的晶片和系统，而系统就包括软件、PCB 加速板、晶片一整套为深度学习量身定做的推荐系统。

外界或许会好奇，创鑫智慧的致胜策略究竟是什么？答案是“锁定一个特定的目标，把问题的范围缩小”。高肇阳强调，其实最初并没有想着要全面性打败辉达的效能，反之，他们一开始就是锁定单点突破，因为 MLPerf 的评测就像是 AI 加速运算的奥运会，里面有很多不同类别的比赛，而辉达的 GPU 是十项全能的运动高手，每一项比赛都可以参与到完赛，但是创鑫智慧的 AI 晶片就是锁定深度学习推荐系统的单项做到最好。

而这家选择做自己最擅长领域、缩小打击范围，并做到最好的新创公司，面对着市场快速的变化，它也已经在规画下一代的产品，目标就是可以支援更多样的运算，然后更新种类的推荐系统，以及更好的效能功耗比，并确定仍会持续往推荐系统这条路来走。除了产品的推陈出新，创鑫智慧还有另一项重要的目标，那就是期望两年内员工规模可以扩大到 100 人，真正地走向世界舞台与国际大厂竞争。

（首图来源：创鑫智慧）

延伸阅读：

• AI 服务器成中国台湾供应链救世主，盘点重返荣耀的关键产业有哪些
• 当 AI 服务器对散热技术需求变高！为何趋势从“气冷”走向“液冷”？
• AI 服务器话题持续，海英俊：已在服务器占半数市场
• AI 服务器商机涌现！代工大厂布局总整理，谁订单吃好吃满？

▼

   特别声明    本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。