随着AI从生成内容迈向自主执行,智能体AI正在带来新的计算需求,也让业界重新思考如何衡量智能体AI时代的CPU性能。针对这一趋势,Arm近期发布了《智能体AI时代如何定义CPU与软件栈性能》的白皮书。
Arm云AI解决方案架构总监Ravi Malhotra表示,在智能体AI出现之前,AI领域主要以Token(词元)生成来衡量性能,即每秒Token数、每瓦Token数和每美元Token数。智能体AI改变了这一点,它要求生成的Token能够在真实世界中得到切实应用。这意味着,我们不仅要从Token的角度评估性能,还要从智能体及其所执行任务的角度来评估性能。
据介绍,智能体任务可以分为两部分。第一部分是token生成,称之为推理与规划。这类工作通常运行在AI机架上,重点是大规模生成token,并为智能体所需的上下文和数据解读提供足够的内存与存储空间。第二种是基于这些 token 采取行动,称之为工具调用与编排,通常运行在纯CPU服务器上,相关服务器和机架仍需满足规模化部署与稳定运行的基础设施要求。关键问题在于,什么样的CPU才能更好地承载这类工作负载。
“就软件开发来说,编译和测试代码等动作耗时较长,并且会消耗大量CPU周期,因此单个智能体的性能就显得非常重要。”Ravi Malhotra称,相比之下,个人助理或企业运营场景中的单次操作往往持续时间较短,例如访问网页或数据库,或执行少量操作,对单个智能体的性能要求没有那么高。不过,由于这些应用需要执行的操作数量庞大,反而对吞吐量和运行效率提出了更高的要求。
对此,Arm开发了一套针对智能体AI的全新CPU性能测评方法。该框架基于三个原则:具有代表性的智能体应用场景;可重复的CPU性能测试方法;端到端的结果验证。组件级测试有助于排除模型推理和网络等变量的干扰,从而得以单独评估CPU性能;而端到端评估则可用于判断这些改进能否转化为更好的任务完成效果。
基于上述方法论,Signal65对Arm AGI CPU与AMD EPYC Turin在工具调用、编排、推理与规划等工作负载中的表现进行了独立验证。两个平台均采用相同的基准测试脚本,并基于实测的服务器级性能数据, 构建清晰的机架级性能模型。
初步测试结果显示,单机架可承载近两倍工作负载。在七项工作负载测试中,得益于更高的计算密度和更优的能效表现,相较AMD EPYC(霄龙)9755,Arm AGI CPU平均实现1.99倍的机架级性能。
同时,Arm AGI CPU在多个关键智能体应用场景中的机架级性能均优于对比平台。其中,工具调用场景平均达到对比平台的1.7倍,智能体工作流和任务编排场景达到2倍,推理与规划场景达到2.2倍,展现出其满足智能体AI多样化计算需求的能力。
相较AMD EPYC(霄龙)9965,Arm AGI CPU 最多可将沙箱创建时延降低45%,帮助智能体更快启动隔离执行环境,降低智能体执行过程中的系统开销。
据了解,Arm正以不同的产品形态将Arm AGI CPU 的这些能力推向市场。Arm设计了两款服务器参考设计,Arm AGI CPU 1OU双节点服务器参考设计和Arm AGI CPU 2U2P服务器参考设计。
在机架层面,Arm同样有不同的解决方案,包括风冷方案,以及今年展示过的由Supermicro打造的液冷方案,涵盖19英寸和Open Rack双宽两种规格。
Ravi Malhotra强调,“没有两个智能体AI应用是完全相同的。为每个用例选择不同的CPU并不是一种可扩展的模式,尤其是在用例不断演进的情况下。对于大部分市场来说,需要的是一个均衡的选择,一款能够在性能、可扩展性和效率之间取得平衡的 CPU,而这正是Arm AGI CPU所带来的优势。”