MIT 发表全新光电混合运算智慧型网卡，能以 100Gbit/s 速度即时处理机器学习推论请求

▼

随着智慧型网卡（SmartNIC）的推出，人们可以享受到传统网卡所没有的可程式化能力，并开启直接在网卡上进行资料运算与传输的新纪元。如今 MIT 麻省理工学院的研究团队开发出名为“闪电”（Lightning）的混合式运算平台，该平台其实是一片具备可重组态架构的光电混合智慧型网卡，堪称是当前第一个能即时处理机器学习推论请求的光子运算系统。

采用可重组态的“计数─操作抽象化”，完美结合光子速度与电子资料流控制能力

一般而言，电子元件可以透过记忆体或指令来控制资料流，但光子运算系统却无法办到。对此，MIC 新开发的“闪电”智慧型网卡克服了这个障碍。该研究团队透过可重组态的“计数─操作抽象化”（count-action abstraction）让系统得以关注每个推论封包，并建立了能将封包从该网卡顺场地馈送到光子网域的快速资料路径。

总而言之，“计数─操作抽象化”能将电子和光子连接起来，其中，电子携带的资讯被转换成以光速运行的光子，以协助完成推论任务。接下来，光子再被转换成电子，以便将资讯传送至电脑。

MIT 研究团队指出，光子运算特别擅长处理矩阵乘法（matrix multiplication）等大量线性计算的任务，但在面对其他任务时，就可能需要借助电子的协助。如此一来便会产生大量资料，需要在光子元件和电子元件之间进行交换，以完成机器学习推论请求等任务。该研究团队强调，透过光子速度与电子资料流控制能力的两相结合，“闪电”智慧型网卡能以高达 100Gbit/s 的速度即时处理深度神经网络的推论请求。

远胜 GPU、DPU、SmatNIC 和先进加速器的能效表现

研究人员表示，长久以来，人们即使拥有一台超高速的光子电脑，但若没有足够的资料，它将不再进行任何合理的运算甚至暂停运行，这也使得光子和电子之间的资料流控制成为过去最先进光子运算作业的致命弱点。面对这样的问题，过去的解决之道就是采取所谓的“走走停停”（stop-and-go）的方法来减慢资料流。

但这种做法就像是一个从未开过超跑的人，一边拿着使用手册一边走走停停地开车一样。对于超跑老手而言，所有驾驶操作的记忆全都深植肌肉 DNA，透过这样的肌肉记忆，才能顺畅自如地将超跑的性能发挥极致。

研究人员表示，MIT 所开发“闪电”平台中的“计数-操作抽象化”就等同该平台中的肌肉记忆，能无缝地驱动系统中的电子和光子。全新“闪电”平台所使用的光子比电子移动得更快，而且产生的热量也更少，这使得该平台能以超越非混合式电脑更快的频率和效能运行。

研究人员甚至将“闪电”这个新型智慧型网卡与标准 GPU、资料处理器（DPU）、“传统”智慧型网卡和其他加速器进行了一场能源效率大比拼，结果证明“闪电”平台在完成推论请求时的能效表现最佳。即使与当前最先进的加速器相比，“闪电”不但加快了机器学习推论的回应速度，在功耗上更降低了好几个数量级。不仅如此，在进行系统效能的评估中，“闪电”原型展示了以 99.25% 的精准度执行 8 位元光子乘法累加运算的可行性。

• Photonic-Electronic NIC Serves Live Machine Learning Inference Requests

（首图来源：MIT）

▼

   特别声明    本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。