Technology Integration
影响: Important
强度: High
置信: 85%
AMD发布突破性MLPerf 6.0推理结果,展示多节点扩展与多模态能力
内容摘要
AMD在MLPerf Inference 6.0基准测试中,凭借Instinct MI355X GPU在Llama 2 70B和GPT-OSS-120B模型上首次突破每秒100万令牌的推理吞吐量。其提交强调了多节点扩展效率、对新型文本到视频模型(Wan-2.2-t2v)的快速启用,以及广泛的合作伙伴生态系统复现结果。
核心要点
AMD的MLPerf Inference 6.0提交包含多项关键进展。在Llama 2 70B模型上,MI355X GPU相比前代MI325X性能提升3.1倍,并在多节点(11节点,87块GPU)配置下,在离线、服务器和交互式场景中分别实现了超过100万、100万和78.5万令牌/秒的吞吐量,扩展效率高达93%-98%。
首次提交的GPT-OSS-120B模型在单节点性能上与竞品B200/B300 GPU相当,并成功进行了多节点扩展。此外,AMD首次在文本到视频模型Wan-2.2-t2v上提交结果,展示了向多模态AI推理的扩展能力。所有结果均强调其ROCm软件栈和合作伙伴生态系统的成熟度。
首次提交的GPT-OSS-120B模型在单节点性能上与竞品B200/B300 GPU相当,并成功进行了多节点扩展。此外,AMD首次在文本到视频模型Wan-2.2-t2v上提交结果,展示了向多模态AI推理的扩展能力。所有结果均强调其ROCm软件栈和合作伙伴生态系统的成熟度。
重要性说明
此次提交标志着AI推理基础设施正从单节点性能竞赛,转向多节点集群效率与快速模型启用能力的竞争。AMD证明了其在高性能、规模化推理领域的完整堆栈能力,为未来机架级AI部署(如AMD Helios)铺平道路,并加剧了企业AI基础设施采购中的多供应商选择压力。...
PRO 决策建议
决策建议仅对 Pro 用户开放
升级至 Pro $29/月