英伟达推动AI基础设施评估指标从FLOPS转向每token成本

内容摘要

英伟达提出应将“每token成本”而非“每美元FLOPS”作为评估AI基础设施的核心经济指标。这标志着从衡量计算输入转向衡量商业输出，涉及硬件、软件、网络的全栈优化，以降低企业AI推理的总拥有成本。

核心要点

英伟达发布技术博客，系统性阐述为何“每百万token成本”是衡量AI工厂（AI Factories）经济性的唯一关键指标。文章批判了仅关注芯片峰值算力（FLOPS/美元）或单GPU小时成本的局限性。

核心论点是：真正的商业价值在于“交付的token输出”，这取决于全栈优化，包括支持MoE模型的Scale-up互联、FP4精度、推测解码、KV缓存卸载以及满足智能体AI的超低延迟和高吞吐需求。英伟达以Blackwell与Hopper的对比数据佐证，显示Blackwell实现了50倍的每瓦token输出提升和35倍的每token成本降低。

重要性说明

【技术突破型】英伟达试图重新定义AI基础设施的采购与评估标准，将竞争从芯片层拉升至全栈系统效率层。这加速了企业从关注理论算力到关注实际AI服务盈利能力的思维转变，为基础设施厂商设立了新的性能门槛。...

登录查看完整战略分析

免费注册

PRO 决策建议

🔒

决策建议仅对 Pro 用户开放

升级至 Pro $29/月