在拒绝 AI 训练的同时保持搜索可发现性

在缺乏适当管控的情况下，网站所有者长期以来一直面临一个艰难的权衡：要么允许其内容被用于人工智能训练，要么冒着在搜索引擎中失去被发现的风险。

之所以存在这种权衡，是因为互联网上一些最大的机构使用混合用途的爬虫——即同一款爬虫同时服务于搜索和人工智能训练。拒绝其中一项，也就等于拒绝了另一项。

今天，Cloudflare宣布推出一项新的“禁止人工智能训练”设置，使您能够轻松保持在搜索引擎的索引中，同时拒绝让同一款爬虫利用您的内容进行训练。

苹果、谷歌和微软均已遵守或承诺（在规定期限内）遵守这一设置。

混合用途的爬虫曾是训练问题中最棘手的部分。接下来要解决的是人工智能摘要。对全站采取“是”或“否”的一刀切方式过于简单粗暴：您的内容有多少会出现在摘要中，这一点与它是否会被收录同样重要。

针对人工智能摘要的退出机制，已经是我们为混合用途爬虫运营方设定的要求之一。到明年年初，我们的目标是让您能够控制您的内容被纳入摘要的比例——只需在Cloudflare上统一设置一次，而无需逐家与各运营方分别沟通。

仅靠请求并不足够

大多数网站所有者都希望被找到：无论是人类、代理程序，还是（合规的）机器人。但开放互联网中有相当一部分依靠广告、订阅或与访问者的直接关系来维持运营，而这些模式只有在有人实际到达时才会产生收益。

几乎每个网站所有者都认为搜索引擎是有益的：在Cloudflare的客户中，选择阻止搜索引擎爬虫的不到1%。然而，对于内容训练，情况则大不相同：有17%的网站会选择启用某种机制来阻止内容被用于训练。

这也正是我们决定网站所有者需要更精细的控制手段，而非一刀切的“禁止AI”的原因。

仅靠robots.txt指令无法解决这一问题。任何人都可以发布这样的文件，但它无法识别是谁在抓取、无法判断其抓取目的，也无法阻止那些无视该指令的爬虫。

网络层却可以做到这一点：我们公开用户的偏好，识别正在抓取的主体，分类其抓取目的，并拦截那些无视指令的爬虫——然后在Radar上报告各家运营方的实际行为。

不过，单纯的拦截只是将爬虫拒之门外，并不能改变爬虫的行为方式。更好的结果是让运营方不再迫使用户做出选择。因此自7月以来，我们一直在与它们直接对话。

各方的回应令人鼓舞：几乎所有公司都认同，网站所有者应当对其内容的使用方式拥有控制权和透明度，并确信自己的选择会得到尊重。

为了帮助网站所有者理解这一点，我们设立了一个“负责任”认证标识。

“负责任”认证既认可当前已具备的能力，也认可为实现相关能力所作出的具体承诺。要获得该认证，爬虫运营方必须满足或承诺满足以下要求：

1. 提供一种机制，使网站所有者能够通过robots.txt或类似标准选择退出人工智能训练。
2. 提供一种机制，使网站所有者能够直接向该运营方选择退出人工智能摘要；明年还将可通过Cloudflare实现这一功能（详见下文）。
3. 在URL层面公开哪些页面被用于训练，并提供指标展示相关内容在搜索中的呈现情况。
4. 确保退出人工智能训练不会影响传统的搜索结果。

苹果、谷歌和微软均证明自己符合“负责任”的资格。它们各自结合了现有能力与仍在开发中的、有明确时间表的承诺。下文将详细介绍这三家公司的爬虫情况。

新的安全设置选项

Cloudflare按行为对爬虫进行分类，而单个爬虫可能同时表现出多种行为。目前可供选择的控制项包括：

• 搜索——为构建搜索索引而进行的抓取。
• 训练——为训练或微调模型而进行的抓取。
• 代理——由用户驱动、代表人类访问页面的代理程序，例如聊天检索机器人和浏览器使用的代理。

混合用途的爬虫是指同时执行搜索和训练任务的单一爬虫。在缺乏相应控制的情况下，这种组合会导致前文所述的权衡：网站所有者无法只拒绝其中一项而保留另一项。

为了避免拦截那些“负责任”的混合用途爬虫——也就是那些不会强迫网站所有者做出上述权衡的爬虫——我们推出了一个新的设置：“禁止人工智能训练”。

该设置得名于其在您的robots.txt中发布的Disallow:指令。

“阻止”设置如今有了不同含义

此前，“阻止”及“在含广告页面上阻止”并不适用于混合用途的爬虫，因为将其拦截也可能影响搜索的可发现性。现在有了新的“禁止人工智能训练”设置后，“阻止”及“在含广告页面上阻止”将适用于所有训练类爬虫，包括混合用途的爬虫。

训练、搜索和代理的控制项均在域名级别生效。随着“禁止人工智能训练”设置的加入，可用的设置如下：

1. 允许：所有爬虫均被允许访问，除非被其他设置或 WAF 规则所阻止。
2. 禁止 AI 训练：Bot Preference Sync 会在 robots.txt 中发布相应的“禁止训练”偏好。具有混合用途的负责任爬虫仍可继续用于搜索；其他所有训练专用爬虫均会被阻止，包括由 Amazon、Anthropic、Meta 和 OpenAI 运行的纯训练爬虫——此类阻止不会影响搜索。禁止 AI 训练仅作为“训练”模式下的设置选项提供，不适用于“搜索”或“代理”模式。
3. 在含广告页面上阻止：爬虫（包括混合用途爬虫）仅在检测到页面正在投放广告时才会被阻止。
4. 阻止：所有爬虫（包括混合用途爬虫）均会被阻止。

禁止 AI 训练是通过在 robots.txt 中发布相应偏好来实现的。然而，仅针对广告的偏好无法以这种方式表达：Cloudflare 能够识别哪些页面在投放广告，但该列表过于庞大且变化频繁，难以在 robots.txt 中完整列出。

因此，“在含广告页面上禁止 AI 训练”这一选项并不存在。

代理与混合用途爬虫在搜索可见性方面并不构成相同的权衡，而且目前互联网尚未形成用于向代理表达“禁止”偏好的一致标准。因此，我们暂未为代理提供“禁止”设置。

随着诸如 ai-prefs 等相关标准的逐步成熟，我们将重新评估这一做法。

9月15日将有哪些变化？

我们将对 Bot Management 和 AI Crawl Control 做出如下调整：

1. “阻止”和“在含广告页面上阻止”现同时适用于混合用途爬虫，包括 Applebot、Bingbot 和 Googlebot；因此，这两种设置不仅会影响训练，也会对搜索产生影响。若希望停止训练并同时保留搜索功能，请使用“禁止 AI 训练”。
2. “阻止 AI 机器人”功能将被弃用，取而代之的是更为细化的“搜索”、“训练”和“代理”控制选项。
3. “托管 robots.txt”功能也将被弃用，改由 Bot Preference Sync 接管。已启用“托管 robots.txt”的客户将自动迁移到新系统。
4. “禁止 AI 训练”将成为某些新域名的推荐配置的一部分。
5. 现有客户的偏好将按以下说明迁移到新的控制机制。

您需要做什么？

在绝大多数情况下，您无需采取任何行动。您的当前设置会自动沿用。

如果您希望完全禁止所有混合用途爬虫，则需选择“阻止”。这将阻止 Applebot、Bingbot 和 Googlebot 访问您的网站，包括用于搜索的访问。

从未使用过“搜索/训练/代理”控制的新域名

对于从未配置过这些细化控制的站点所有者，其现有“阻止 AI 机器人”设置将被迁移至新的配置体系。

曾配置过“搜索/训练/代理”控制的现有域名

对于此前已配置过细化控制的域名，我们将按照新定义保留其原有选择的实际效果。先前选择“训练”模式下的“阻止”或“在含广告页面上阻止”，将被迁移至“禁止 AI 训练”。

新域名的建议配置

自9月15日起，首次接入新域名的客户将根据其站点是否通过广告盈利，获得两种预设配置之一。广告收入依赖于真实用户浏览页面；而训练则以回答替代了用户的实际访问；代理则在无人观看广告的情况下抓取页面内容。

因此，面向广告支持型站点的预设配置更为严格。您可在接入过程中或之后的任何时间修改这些设置。

新域名的推荐设置

这对特定的混合用途爬虫意味着什么？

Applebot、Bingbot 和 Googlebot 均属于“负责任”类爬虫。Apple、Google 和 Microsoft 均致力于维护发布者的选择权与透明度原则。

在“禁止 AI 训练”模式下，它们仍可继续为您的网站进行搜索爬取；而选择“阻止”则会完全禁止其访问。

我们还将来自 Amazon、Anthropic、Meta 和 OpenAI 的相关爬虫归为“负责任”类别。这些机构分别管理其搜索与训练爬虫，因此 Cloudflare 可以仅阻止训练爬虫而不影响搜索。

Applebot

Applebot 允许站点所有者通过在 robots.txt 中添加针对“Applebot-Extended”的“Disallow”规则来选择退出训练。此外，站点所有者还可通过页面 HTML 中的 nosnippet 指令表达对 AI 摘要的偏好。

内容也可被标记为 付费墙内容，从而将其排除在生成式输出之外。目前，Applebot 尚未提供 URL 级别的检查工具。不过，我们已与他们的团队进行了沟通，他们也分享了明年即将推出的解决方案细节。

Apple 还表示，禁止训练 不会影响搜索排名。

Googlebot

Googlebot 允许网站所有者通过在 robots.txt 中为 “Google-Extended” 添加一条 Disallow 规则来选择退出训练，并且他们在其站长工具门户中提供了一个开关，用于将某个网站的内容排除在生成式搜索结果之外。

Googlebot 还向网站所有者提供了有关搜索结果和 AI 摘要结果的指标与报告。Google 分享了其现有及近期推出的控制措施的相关信息，以及他们正在开展的工作，包括针对 Google-Extended 的更多 URL 级透明度工具，预计将在未来几周内上线。

Google 还表示，禁止 Google-Extended 不会影响搜索排名。

Bingbot

Bingbot 在其 站长工具 中提供了细粒度的控制与透明度功能。网站所有者目前可以通过 Bing 的 NOARCHIVE 元标签 表达 AI 训练偏好。

微软正在扩展这些功能，目前正在构建一种机制，以在域名或站点级别尊重 robots.txt 中的“禁止训练”偏好，目标是在 2027 年初推出。

对于希望立即在 Bing 中选择退出训练的 Cloudflare 客户，除了使用 NOARCHIVE 标签外，网站所有者还可以使用 阻止 URL 或内容移除工具。

微软还表示，使用 NOARCHIVE 不会影响搜索排名。

在该支持上线之前，选择“禁止 AI 训练”并不会通过 robots.txt 自动向 Bing 传达“禁止训练”的偏好。这与之前的“训练阻止”设置的实际行为相同，后者并不适用于像 Bingbot 这样的混合用途爬虫。

持续进展

随着这些功能的演进，我们将继续与所有 AI 爬虫运营方保持沟通并开展合作。Cloudflare Radar 公开追踪负责任爬虫运营方提供的控制、透明度及报告功能。

让互联网变得更好需要双方都拥有自主权：爬虫需要访问开放网络，而创建网络的人们也需要对其作品的使用方式拥有切实有效的控制。

今天的公告标志着朝着这一平衡迈出了坚实的一步。

实现这一进展需要基础设施提供商、内容创作者、科技公司以及诸如互联网工程任务组（IETF）之类的标准制定机构通力合作，将这些原则转化为开放、可互操作的标准。

下一步：AI 摘要

训练与 AI 摘要对网站所有者提出了不同的问题。训练关注的是内容是否可用于构建 AI 模型；摘要则影响人们发现、评估并最终访问某个企业的方式。

两者都很重要，但对企业的影响各有不同。

选择退出 AI 摘要的控制措施是第一步。被认定为“负责任”的运营方要么已经提供，要么正在完成相关功能的开发，从而确立了一个重要的基准：网站所有者可以明确表示“不接受”。

然而，在整个网站范围内选择允许或禁止摘要仍然是一种较为粗放的做法。正确的决定取决于具体的网站、内容以及业务目标。对于出版商而言，训练引发了关于控制权、补偿以及原创内容可持续性的根本性问题。

摘要则带来了一个独立且往往更为紧迫的分发问题：用户会访问出版商的网站，还是仅在搜索或 AI 体验中获取答案？对于许多其他企业来说，AI 摘要正日益成为潜在客户与网站之间的关键环节。

它们可能解答疑问、比较选项、推荐产品，或者帮助用户决定是否真的要访问该网站。

数据显示，影响呈现两面性。超过一半的消费者会在搜索结果中阅读摘要，而这些消费者在读完摘要后，结束搜索的可能性会提高 40% 以上。

这可能会减少网站的访问量。不过，由 AI 搜索引导的消费者转化率，是传统搜索引导消费者的 三倍到 五倍以上。也就是说，AI 可能带来的访问量较少，但其用户往往具有更高的购买意向。

这本身并无好坏之分。以广告收入为支撑的出版商可能更注重受众规模；而零售商则可能更青睐数量较少但更易促成购买的访客。Cloudflare 的角色并非替他们做出选择，而是提供必要的可见性和控制能力，以便他们能够基于充分的信息作出决策。

摘要退出功能是一个良好的开端，但这并非最终方案。我们的下一步重点是帮助网站所有者了解摘要对其业务的影响，并赋予他们更多对自身内容使用范围的控制权。

诸如 ai-prefs 等开放标准，将是实现这一目标的重要组成部分。

如果您希望参与这一讨论或提供反馈，请发送邮件至 crawlercontrols@cloudflare.com。

这些新控件面向所有客户、所有套餐开放，可在域名（zone）的安全设置中进行配置。尚未使用 Cloudflare？免费开始，立即设置您所需的流量控制策略。