Cloudflare
2026-07-19
Cloudflare默认阻止AI爬虫并发布Agentic Internet战略，争夺智能体交互控制权
内容摘要
核心要点
Cloudflare宣布从2025年9月起，在其CDN和WAF服务中默认阻止未经授权的AI爬虫。当前AI爬虫流量已占全网流量的近8%，且大部分未遵守robots协议。网站管理员可通过控制面板选择允许特定AI爬虫。这一政策覆盖所有免费和付费用户，帮助保护内容不被AI公司无偿抓取用于模型训练。
同时，Cloudflare发布了Agentic Internet战略愿景，阐述了未来互联网架构如何支持数十亿AI智能体的自主交互。该战略包括智能体身份验证协议、智能体间安全通信标准和AI原生边缘计算框架等核心技术方向。CEO Matthew Prince表示未来的互联网不仅是人类之间的连接，更是人类与AI、AI与AI之间的复杂交互网络，Cloudflare致力于构建支持这一愿景的安全、高性能基础设施。
重要性说明
Cloudflare此举表面是保护网站内容，实质是强化其作为互联网流量看门人的地位。通过默认阻止AI爬虫，Cloudflare迫使AI公司要么放弃抓取，要么与Cloudflare协商使用其Turnstile等服务，从而将内容访问控制权从网站所有者转移到Cloudflare平台。这隐性锁定了用户对Cloudflare安全产品的依赖，因为一旦开启默认保护，网站所有者可能难以单独管理爬虫策略，增加迁移成本。
Agentic Internet愿景是Cloudflare试图在AI智能体交互中建立标准，控制身份验证和通信协议。如果成功，Cloudflare将成为AI智能体交互的控制平面，所有智能体间的通信必须经过其网络，从而锁定用户对其边缘计算和身份服务的依赖。然而，该愿景缺乏具体实现细节，且面临技术挑战：Cloudflare的边缘网络在处理大规模AI智能体实时交互时，可能面临尾部延迟和带宽瓶颈，尤其是在智能体间高频通信场景下，对QUIC或RoCEv2等低延迟协议的支持未知。此外，智能体身份验证标准的制定需要行业协作，Cloudflare单方面推出可能面临互操作性问题。
PRO 决策建议
【厂商】竞争对手如Akamai、Fastly、AWS CloudFront应迅速反击：强调Cloudflare此举破坏互联网开放性，可能导致内容碎片化，影响合法的AI数据访问。竞争对手可以提供更灵活的爬虫管理策略，如基于协商的允许列表，或与AI公司合作建立合规数据访问渠道。同时，竞争对手应加强其边缘计算平台的AI智能体支持能力，宣传更低延迟、更高吞吐量的边缘计算服务，并参与制定开放的智能体身份标准，避免被Cloudflare锁定。
【企业】CIO和架构师应进行零信任审计：评估对Cloudflare的依赖程度，默认阻止AI爬虫可能影响SEO和AI驱动的业务洞察（如搜索引擎索引、市场分析）。要求Cloudflare提供详细的智能体身份验证协议透明度和互操作性，确保不被锁定。考虑采用多CDN策略，保持对爬虫管理的灵活性，并测试其他边缘平台对AI智能体交互的支持。
【投资者】看穿Cloudflare的公关辞令：默认阻止AI爬虫是巩固其护城河，但Agentic Internet愿景短期难以变现，且面临技术实现和行业协作挑战。长期看，如果标准被采纳，Cloudflare将成为AI基础设施关键节点，但竞争激烈（如Akamai、Fastly、AWS）。关注实际采用率、合作伙伴生态和监管反应（如网络中立性争议）。当前股价可能高估了短期影响。
觉得这篇分析有用？
每周收到3-5条AI基础设施关键信号 →
💬 评论 (0)