NVIDIA推AgentPerf基准测试：Blackwell Ultra每瓦代理数较Hopper提升20倍
内容摘要
核心要点
NVIDIA宣布首个Agentic AI基础设施基准AgentPerf的首轮结果，其GB300 NVL72平台在运行DeepSeek V4 Pro（大型MoE模型）时，每兆瓦可处理的并发代理数较HGX H200提升20倍。
AgentPerf由第三方机构Artificial Analysis开发，模拟真实编码代理工作流：代理接收任务、读取文件、编写/编辑代码、执行命令并迭代，覆盖12+编程语言。基准测量平台在满足20和60 tokens/s服务等级目标下能同时支持的代理任务数，工具调用以模拟CPU时间代替真实执行，确保结果反映加速计算性能。
性能优势来源于全栈协同设计：GB300 NVL72将72张GPU连接为单机架系统，使MoE模型高效分布执行；CUDA kernel重叠通信与计算，隐藏专家协调开销；TensorRT LLM分离输入处理与输出生成，独立优化。NVIDIA声称Vera Rubin架构已全面投产。
重要性说明
NVIDIA通过AgentPerf基准测试，表面是展示性能优势，实则在防守AMD Instinct与Intel Gaudi对AI推理市场的侵蚀，并合围Google TPU在代理工作负载上的潜在威胁。该动作试图将每瓦代理数树立为代理AI基础设施的关键KPI，从而锁定企业采购评估标准，迫使客户以NVIDIA定义的效率指标做决策。
隐性锁定资产：TensorRT LLM与CUDA的深度绑定，使得使用GB300 NVL72的企业一旦部署代理工作流，将难以迁移至其他平台——工具链、模型优化、集群管理均依赖NVIDIA闭源软件栈。NVLink与NVSwitch的机柜级互联进一步形成硬件绑定，剥夺用户跨代升级的弹性。
故意隐瞒的工程短板：GB300 NVL72是整机柜方案（72 GPU），功耗与散热需求极高，仅适合特定液冷数据中心，普通风冷机房无法部署。基准测试使用DeepSeek V4 Pro（NVIDIA友好模型），未测试竞争对手模型（如Llama 4或Grok）的兼容性。20倍提升基于H200（非H100），且未披露绝对代理数，可能通过降低并发数换取每瓦效率。工具调用模拟CPU时间，忽视了真实网络中尾部延迟与PFC/ECN拥塞控制瓶颈带来的性能衰减。
PRO 决策建议
【厂商（竞争对手）】AMD与Intel应迅速联合第三方基准机构（如MLPerf）推出针对代理AI的标准化测试，使用多厂商模型（如Llama 4、Grok）和真实网络延迟环境，揭露NVIDIA在非液冷机房与异构部署下的性能短板。同时推广ROCm与OpenVINO对代理工作流的优化，强调跨平台可移植性，削弱CUDA锁定。
【企业（CIO/架构师）】在采购GB300 NVL72前，要求NVIDIA提供绝对并发代理数而非仅每瓦指标，并要求在现有风冷数据中心进行独立基准测试（包括真实网络延迟）。评估AMD MI400或Intel Gaudi 3在相同功耗预算下的代理吞吐，防范TensorRT LLM的版本迭代导致旧模型优化失效的资产折旧风险。
【投资者】AgentPerf是NVIDIA巩固AI推理护城河的信号，但需警惕：该基准未涵盖推理成本/请求（TCO），且20倍提升部分源于架构代差（H200→GB300）。长期关注AMD与Intel在代理AI专用加速器上的研发进展，以及开放基准（如MLPerf Agent）是否削弱NVIDIA的指标定义权。
觉得这篇分析有用？
每周收到3-5条AI基础设施关键信号 →
💬 评论 (0)