Vendor Strategy
Important
High
90% Confidence
AWS发布Inferentia2推理芯片优化生成式AI基础设施
内容摘要
亚马逊推出第二代AI推理芯片Inferentia2，专为Transformer模型设计，性能提升4倍并支持1750亿参数模型。该芯片集成于EC2 Inf2实例，通过UltraClusters架构支持大规模集群部署，提供比GPU实例高40%的性价比和低50%能耗。
核心要点
AWS发布新一代AI推理芯片Amazon Inferentia2，专为生成式AI和大语言模型推理优化。
芯片采用新可变精度数据类型，内存容量提升3倍，支持高达1750亿参数模型。
已集成至EC2 Inf2实例，通过UltraClusters架构支持数万芯片集群部署。
芯片采用新可变精度数据类型，内存容量提升3倍，支持高达1750亿参数模型。
已集成至EC2 Inf2实例，通过UltraClusters架构支持数万芯片集群部署。
重要性说明
AWS通过自研芯片强化云端AI基础设施竞争力，推动企业AI部署向高性价比推理解决方案迁移，可能加速行业从GPU向专用AI芯片的架构转变。...