Architecture Shift
Important
High
90% Confidence
谷歌为Gemini API引入Flex与Priority推理层级
内容摘要
谷歌为其Gemini API新增Flex和Priority两个服务层级。Flex是成本优化层级，为延迟容忍型工作负载提供同步接口，价格降低50%；Priority为高可靠性层级，确保关键应用在高峰期的请求不被抢占。此举旨在通过单一界面，让开发者根据AI任务类型（如后台Agent思考与前台交互）灵活平衡成本与可靠性。
核心要点
谷歌宣布在其Gemini API中推出Flex和Priority推理层级，旨在解决AI应用从简单聊天向复杂自主Agent演进时，开发者需同时管理后台任务（如数据丰富化、Agent“思考”）和交互式任务（如聊天机器人、Copilot）的架构挑战。
Flex层级针对延迟容忍型工作负载设计，通过降低请求关键性（牺牲部分可靠性并增加延迟）实现比标准API低50%的成本，并提供同步接口以简化开发。Priority层级则为关键应用提供最高级别的可靠性保障，即使在平台使用高峰期也能确保请求不被抢占，并支持在超出限额时自动降级至标准层以保证业务连续性。
Flex层级针对延迟容忍型工作负载设计，通过降低请求关键性（牺牲部分可靠性并增加延迟）实现比标准API低50%的成本，并提供同步接口以简化开发。Priority层级则为关键应用提供最高级别的可靠性保障，即使在平台使用高峰期也能确保请求不被抢占，并支持在超出限额时自动降级至标准层以保证业务连续性。
重要性说明
这标志着AI推理服务正从单一、通用的模式，向根据工作负载特性（成本敏感 vs. 可靠性敏感）进行分层和优化的架构演进。谷歌此举将推动企业更精细地设计和部署其AI应用架构，特别是在混合了Agentic工作流和实时交互的复杂场景中。...