筛选

×
当前筛选 清除全部
关键词: vLLM ×
29 情报总数
2/2 当前页
NVIDIA 其他 强信号 2026-04-15

英伟达推动AI基础设施评估指标从FLOPS转向每token成本

英伟达提出应将“每token成本”而非“每美元FLOPS”作为评估AI基础设施的核心经济指标。这标志着从衡量计算输入转向衡量商业输出,涉及硬件、软件、网络的全栈优化,以降低企业AI推理的总拥有成本。

Google 其他 强信号 2026-04-03

谷歌发布Gemma 4开源模型,瞄准边缘推理与AI代理架构

谷歌推出Gemma 4开源模型家族,包含从2B到31B的四个版本,强调单位参数性能突破,并原生支持AI代理工作流、多模态与长上下文。其小参数模型专为边缘设备优化,旨在将前沿推理能力扩展至移动与IoT场景。

Google 其他 中信号 2026-04-03

Google发布Gemma 4开源模型系列

Google推出Gemma 4开源模型系列,包含四种规模变体,特别优化边缘计算和移动设备。该系列支持多模态处理、长上下文窗口和140多种语言,采用Apache 2.0许可。

AMD 其他 强信号 2026-04-02

AMD发布突破性MLPerf 6.0推理结果,展示多节点扩展与多模态能力

AMD在MLPerf Inference 6.0基准测试中,凭借Instinct MI355X GPU在Llama 2 70B和GPT-OSS-120B模型上首次突破每秒100万令牌的推理吞吐量。其提交强调了多节点扩展效率、对新型文本到视频模型(Wan-2.2-t2v)的快速启用,以及广泛的合作伙伴生态系统复现结果。

NVIDIA 其他 2026-03-24

NVIDIA IGX Thor边缘AI平台:8倍算力跃迁与ConnectX-7网络锁定

NVIDIA发布IGX Thor系列,基于Blackwell GPU和Arm Neoverse-V3AE CPU,提供最高5,581 FP4 TFLOPS算力、双200GbE RDMA网络及ISO 26262功能安全。通过Jetson/IGX引脚兼容和10年生命周期,构建从原型到生产的无缝迁移路径,但隐性锁定用户至NVIDIA专有硬件堆栈。

Meta 其他 强信号 2026-03-11

Meta加速自研AI芯片路线图,专注推理优化

Meta计划两年内推出四代自研AI芯片MTIA系列,采用‘推理优先’设计策略,专注于生成式AI推理任务优化。芯片基于PyTorch和开放计算标准构建,支持数据中心无缝部署。这一快速迭代策略旨在提升计算效率和成本控制。

NVIDIA 其他 强信号 2026-03-11

英伟达Jetson平台推进边缘AI开源模型本地化部署

英伟达通过Jetson边缘AI平台实现开源生成式AI模型的本地化部署,支持包括Qwen3 4B和Mistral 3在内的多种模型在边缘设备运行。平台提供从Jetson Orin Nano到Thor的完整硬件选项,集成计算与内存于SoM以简化设计。关键性能指标显示,Jetson Thor可实现52 tokens/秒的Mistral 3推理速度。

Trend Micro 其他 强信号 2026-03-03

Trend Micro发布AI安全报告,揭示AI供应链风险与模型攻击面

Trend Micro发布《AI生态系统断层线》报告,系统性地分析了AI供应链中的安全风险,包括模型训练数据污染、第三方插件漏洞以及模型窃取攻击。报告指出,企业AI应用的安全边界已从传统IT基础设施扩展至模型层和数据管道。

NVIDIA 其他 1970-01-01

SGLang 0.5.13发布:MoE路由预判+稀疏缓存,GB300 NVL72推理性能飙升25倍

SGLang 0.5.13版本引入两阶段MoE路由预判和稀疏KV缓存,在NVIDIA GB300 NVL72平台实现25倍推理加速。实测显示,在A100上吞吐量提升65%,延迟降低40%,路由开销锐减62%。该优化直击MoE模型推理瓶颈,有望重塑AI推理部署的经济性。