OpenAI、Google、Microsoft 将支持 robots.txt 的 __usage_ai-trainin…

OpenAI、Google、Microsoftは2026年10月30日、robots.txtでWebコンテンツのAI学習利用を指定する新たな仕組みに対応する方針を発表した。サイト運営者は、__usage_ai-trainingという識別子を使い、対応する複数のAI事業者へ学習利用の許可・拒否をまとめて伝えられる。事業者ごとに設定を管理する負担を減らす狙いがある。

対応時期や、新しい指定と既存の設定を併用した場合の扱いは、事業者によって異なる。

OpenAI：Making it easier for websites to express AI training preferences

Google：Supporting a shared AI training control for websites

Microsoft：Your content, your choice: clearer preferences for training and grounding

robots.txtで学習利用の許可⁠・拒否を指定

OpenAI、Google、Microsoftが対応を予定する仕組みでは、クローラーへの指示を書くファイル、robots.txtを使う。

学習利用の可否を伝えるには、サイト運営者がrobots.txtのUser-Agent行に__usage_ai-trainingを書く。これは特定のクローラー名ではなく、学習利用についての指定であることを表す識別子。たとえば、サイト全体のコンテンツを生成AIの学習に使うことを拒否する場合は、次のように指定する。

User-Agent: __usage_ai-training Disallow: /

Disallowは学習利用の拒否を、/はサイト全体を表す。特定のパスだけ学習利用を認める場合は、Allowを使う。たとえば、サイト全体では拒否し、/press-kit/以下のコンテンツだけ利用を認める場合は、次のように書く。

User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/

これらの設定が伝えるのは、コンテンツを学習に使ってよいかどうか。クローラーがサイトを巡回してよいかどうかは、これまでのクローラー向けルールで別に指定する。[1]

この仕組みの基になるのは、IETFのAI Preferences（AIPREF）ワーキンググループでの議論を踏まえ、10月30日に公開された仕様案「Machine-Readable Training Preference Signal」。AnthropicのKevin Kelley氏が提出した草案で、IETFが承認した標準ではない。

各社が順次対応⁠、Anthropicも実装を開始

OpenAIは今後数か月での実装を目指し、対応時に詳細を案内する。Googleは2027年初頭の対応を予定。Microsoftは2027年2月1日から、クロールで設定を読み取ったサイトやページへの適用を始める。

Anthropicについては、Kelley氏が10月30日のIETF公開メーリングリストへの投稿で実装を始めたと説明した。各サービスで対応するまでには時間がかかるとしており、完了時期には触れていない。[2]

OpenAIは既存のクローラー設定を継続

OpenAIでは、既存のクローラー向け設定も引き続き適用される。学習用のGPTBotと検索用のOAI-SearchBotへの指示は、現在も別々に設定でき、学習利用を拒否しつつChatGPTの検索結果への掲載を認められる。[3]

たとえば、学習用のGPTBotによる巡回を拒否し、検索用のOAI-SearchBotによる巡回を許可するには、robots.txtに次のように書く。

User-Agent: GPTBot Disallow: /

User-Agent: OAI-SearchBot Allow: /

Googleは学習とグラウンディングをまとめて制御

Googleでは、既存のGoogle-Extendedで、コンテンツの学習利用と、回答時に情報源として参照するグラウンディングへの利用をまとめて許可・拒否する。対象は、将来のGeminiモデルの学習と、GeminiアプリやVertex AIのGrounding with Google Searchでのグラウンディング。

Googleが__usage_ai-trainingによる指定を読み取るようになると、学習利用を拒否した場合の扱いは、Google-Extendedを個別に指定しているかどうかで変わる。

たとえば、robots.txtに次のように書き、Google-Extendedを個別に指定しなければ、GoogleはこれをGoogle-Extendedでの拒否として扱う。そのため、上記の学習とグラウンディングの両方が制限される。

User-Agent: __usage_ai-training Disallow: /

一方、__usage_ai-trainingで学習利用を拒否していても、次のようにGoogle-Extendedで個別に許可すれば、Googleによる学習とグラウンディングへの利用をともに認められる。

User-Agent: __usage_ai-training Disallow: /

User-Agent: Google-Extended Allow: /

Googleの説明によると、Google-Extendedで利用を明示的に許可したサイトはGeminiアプリの回答で参照される対象になる。Google-Extendedの設定は、Google検索への掲載や検索順位には影響しない。

Microsoftは学習とグラウンディングを個別に設定

Microsoftは、クローラーで収集したWebコンテンツの学習利用と、回答時の情報源としての利用を別々に設定できるようにする。学習利用の設定はAI Training、回答時の参照の設定はAI Groundingと呼ぶ。

学習利用は、robots.txtの__usage_ai-trainingでサイト全体や特定のパスを対象に指定できる。ページごとのメタタグでも指定でき、メタタグでの指定はrobots.txtの設定より優先される。一方、グラウンディングへの利用はrobots.txtでは指定せず、ページごとのメタタグで指定する。[4]

たとえば、あるページの学習利用を拒否し、回答時の参照を認めるには、そのページのHTMLのhead要素内に次のメタタグを書く。name="Bingbot"は、MicrosoftのクローラーであるBingbotに向けた指定を表す。

グラウンディングの指定をallowからdisallowextendedに変えると、CopilotやMicrosoft 365など同社が運営するサービスでの参照は認めつつ、同社が第三者に提供するグラウンディングサービスでの利用を拒否できる。

Microsoftでは、適用される設定がなければ、学習、グラウンディングともに許可する扱いとなる。これらの設定で学習やグラウンディングを拒否しても、通常のBing検索結果に掲載される対象からは外れない。

コラム⁠：Microsoftの旧設定による制限を維持するには移行が必要

Microsoftはこれまで、ページのメタタグに書かれたNoArchiveやNoCacheの指定に応じて、そのページのコンテンツを学習やグラウンディングに利用する範囲を制限してきた。2027年3月1日以降は、これらの指定による利用制限を適用しなくなるため、制限を続けるには同日より前に新しい設定へ移行する必要がある。

ただし、Microsoftがサイト内で新しいAI TrainingまたはAI Groundingの設定を読み取ると、そのサイトでは3月1日を待たずに旧設定の適用が終わる。

ページに新しい設定を書いても、Microsoftが再クロールで読み取るまでは反映されないため、グラウンディングの制限を維持するにはBing Webmaster Toolsへの一時設定の登録も必要になる。一時設定の登録受付は2026年12月15日に始まり、同日時点でNoArchiveまたはNoCacheを使用しているサイトが対象となる。

Bing Webmaster Toolsに登録した一時設定は、各ページに書いた新しい設定が再クロールで読み取られるまで適用される。ただし、読み取られないままでも2027年9月30日には失効する。具体的な指定方法と移行条件は、Microsoftの移行ガイドで確認できる。