OpenAI、Google、Microsoft 将支持 robots.txt 的 __usage_ai-trainin…

OpenAI、Google和Microsoft于2026年10月30日宣布，将支持在robots.txt中通过新机制指定网页内容是否可用于AI训练。网站运营者可使用__usage_ai-training这一标识符，向多家对应的AI厂商统一传达允许或拒绝将内容用于训练。此举旨在减轻运营者按厂商分别管理设置的负担。

各厂商的支持时间，以及新指定与既有设置并用时的处理方式各不相同。

OpenAI：Making it easier for websites to express AI training preferences

Google：Supporting a shared AI training control for websites

Microsoft：Your content, your choice: clearer preferences for training and grounding

在robots.txt中指定是否允许用于训练

OpenAI、Google和Microsoft计划支持的这一机制，使用用于向爬虫写入指令的文件robots.txt。

要传达是否可用于训练，网站运营者需在robots.txt的User-Agent行中写入__usage_ai-training。这不是特定爬虫的名称，而是表示该指定与训练用途有关的标识符。例如，若要拒绝将整个网站的内容用于生成式AI训练，可如下指定。

User-Agent: __usage_ai-training Disallow: /

Disallow表示拒绝用于训练，/表示整个网站。若只允许特定路径用于训练，则使用Allow。例如，若要拒绝整个网站、仅允许/press-kit/以下的内容用于训练，可如下书写。

User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/

这些设置传达的是内容是否可用于训练。爬虫是否可以抓取网站，则需通过以往的面向爬虫的规则另行指定。[1]

该机制基于IETF的AI Preferences（AIPREF）工作组的讨论，依据10月30日公开的规格草案“Machine-Readable Training Preference Signal”。该草案由Anthropic的Kevin Kelley提交，并非IETF批准的标准。

各公司陆续支持，Anthropic也已开始实现

OpenAI计划在未来数月内实现，并将在支持时说明详情。Google计划于2027年初支持。Microsoft将从2027年2月1日起，对通过爬取读取到设置的网站或页面开始应用。

关于Anthropic，Kelley在10月30日向IETF公开邮件列表的投稿中说明已开始实现。他表示各服务完成支持尚需时间，但未提及完成时间。[2]

OpenAI将继续沿用既有爬虫设置

在OpenAI，既有的面向爬虫的设置也将继续适用。针对训练用途的GPTBot和搜索用途的OAI-SearchBot的指令目前仍可分别设置，从而在拒绝用于训练的同时，允许内容出现在ChatGPT的搜索结果中。[3]

例如，若要拒绝训练用途的GPTBot抓取、允许搜索用途的OAI-SearchBot抓取，可在robots.txt中如下书写。

User-Agent: GPTBot Disallow: /

User-Agent: OAI-SearchBot Allow: /

Google统一控制训练与接地

在Google，既有的Google-Extended可统一允许或拒绝将内容用于训练，以及用于在回答时作为信息来源参照的接地。对象包括未来Gemini模型的训练，以及Gemini应用和Vertex AI的Grounding with Google Search中的接地。

当Google开始读取__usage_ai-training指定后，拒绝用于训练时的处理将取决于是否单独指定了Google-Extended。

例如，若在robots.txt中如下书写且未单独指定Google-Extended，Google会将其视为通过Google-Extended作出的拒绝。因此，上述训练和接地两者都会受到限制。

User-Agent: __usage_ai-training Disallow: /

另一方面，即使通过__usage_ai-training拒绝了训练用途，若如下通过Google-Extended单独允许，则Google的训练和接地用途均可获得许可。

User-Agent: __usage_ai-training Disallow: /

User-Agent: Google-Extended Allow: /

据Google说明，通过Google-Extended明确允许使用的网站将成为Gemini应用回答中参照的对象。Google-Extended的设置不会影响在Google搜索中的收录或搜索排名。

Microsoft可分别设置训练与接地

Microsoft将允许分别设置通过爬虫收集的网页内容用于训练，以及用于在回答时作为信息来源。训练用途的设置称为AI Training，回答时参照的设置称为AI Grounding。

训练用途可通过robots.txt的__usage_ai-training针对整个网站或特定路径进行指定。也可通过页面级元标签指定，元标签的指定优先于robots.txt的设置。另一方面，接地用途不在robots.txt中指定，而是通过页面级元标签指定。[4]

例如，若要拒绝某页面用于训练、允许在回答时参照，可在该页面HTML的head元素内写入以下元标签。name="Bingbot"表示这是面向Microsoft爬虫Bingbot的指定。

将接地的指定从allow改为disallowextended后，可在允许Copilot、Microsoft 365等该公司运营的服务参照的同时，拒绝用于该公司向第三方提供的接地服务。

在Microsoft，若没有适用的设置，则训练和接地均视为允许。即使通过这些设置拒绝了训练或接地，也不会被排除在常规Bing搜索结果的收录对象之外。

专栏：若要维持Microsoft旧设置带来的限制，需要进行迁移

Microsoft此前根据页面元标签中写入的NoArchive或NoCache指定，限制该页面内容用于训练和接地的范围。自2027年3月1日起，将不再适用这些指定带来的使用限制，因此若要继续限制，需在同日之前迁移到新设置。

不过，一旦Microsoft读取到网站内新的AI Training或AI Grounding设置，该网站旧设置的适用将在3月1日之前结束。

即使页面写入了新设置，在Microsoft通过重新爬取读取之前也不会生效，因此若要维持接地限制，还需在Bing Webmaster Tools中登记临时设置。临时设置的登记受理将于2026年12月15日开始，对象为同日时点使用NoArchive或NoCache的网站。

在Bing Webmaster Tools中登记的临时设置，将在各页面写入的新设置通过重新爬取被读取之前持续生效。不过，即使一直未被读取，也会在2027年9月30日失效。具体的指定方法和迁移条件可在Microsoft的迁移指南中确认。