robots.txt AI学習拒否設定の共有シグナルにOpenAI・Google・Microsoftが支持

robots.txtでAI学習を拒否できる新シグナル、OpenAI・Google・Microsoftが支持表明

2026年10月30日、OpenAIはAIトレーニングに関するコンテンツ利用設定を複数のAIプロバイダーに一括伝達できる共有シグナルを尊重すると発表した（出典: Unite.AI、TokenPost）。同日、GoogleとMicrosoftも同シグナルへの支持を表明している（出典: CellCog.AI）。

この共有シグナルは、AnthropicのエンジニアKevin Kelleyが起草したIETF個人ドラフト「Machine-Readable Training Preference Signal」（draft-kelley-aipref-training-preference-signal-00、2026年10月30日付）に基づく。2027年5月3日失効予定のドラフトであり、正式なIETF標準プロセス上の地位はまだない。ただし技術的な骨格はすでに明確で、既存のrobots.txt標準構文（RFC 9309）をそのまま踏襲しており、新しい文法やディレクティブは一切不要だ。

ウェブマスターが追加すべきは、__usage_ai-trainingというポリシートークンのみである。

AI学習の拒否設定が著作権上どう位置づけられるかは、生成AIと著作権の3つの論点で解説しています。

関連記事生成AIの著作権をめぐる最新の訴訟事例は？

この発表が意味すること――「個別管理」から「標準構文一本」への転換の背景

これまで企業がAIクローラーをrobots.txtで制御しようとすれば、GPTBot、Google-Extended、CCBotなど各社クローラーのUser-Agent名を個別に列挙するしかなかった。クローラーの種類は毎年増え続けており、すべての名称を把握・追跡・管理し続けることは担当者にとって実質的に困難だった。

今回の共有シグナル（__usage_ai-training）は、その問題に対する標準的な解答として提案されている。RFC 9309に準拠した既存の記法をそのまま使うため、robots.txtの管理経験がある担当者であれば設定コストはほぼゼロに近い。

ただし、この枠組みが実効性を持つかどうかは各社の誠実な実装と標準化の進展にかかっている。ドラフトには「遵守を保証しない」と明記されており、シグナルを送っても従うかどうかは受信者側の判断に委ねられる（出典: Unite.AI）。現時点では法的拘束力を持たない。

既存の個別クローラー設定（GPTBotなど）は新シグナルで置き換えられるわけではなく、引き続き有効だ（出典: Unite.AI、daily.dev）。トレーニング拒否と検索インデックス許可を独立して制御できる構造は維持される。

robots.txt AI学習 拒否設定：主要プロバイダーの対応時期と現在の設定方法

各社の実装スケジュールと現時点での推奨設定を整理する。

プロバイダー	新シグナル対応予定	現在有効な個別設定	備考
OpenAI	数か月以内に詳細公表予定	User-Agent: GPTBot User-Agent: OAI-SearchBot	既存設定は引き続き有効（出典: Unite.AI）
Google	2027年初頭予定	User-Agent: Google-Extended	GeminiモデルのAI学習制御に使用
Microsoft	2027年2月1日から適用開始	個別クローラー名での設定	3社中、適用開始日が最も明確（出典: CellCog.AI）
Anthropic	公式発表なし	User-Agent: ClaudeBot	ドラフト起草者だが対応時期は未公表

現時点での最も確実な対策は、新シグナルへの各社対応を待ちながら、既存の個別User-Agent設定を整備し続けることだ。新旧の設定は競合せず、並行して機能する。

robots.txt AI学習 拒否設定を今すぐ確認すべき理由と実務上の注意点

まず認識しておくべき構造的な制約がある。過去に収集されたコンテンツが既存のモデルから削除されるわけではない（出典: TokenPost）。robots.txtによる拒否設定の効果は「今後の学習データ収集を停止させる」ことであり、すでにモデルに組み込まれた情報を遡って消去できるわけではない。

そのうえで、日本の企業・サイト運営者が今すぐ実施できる手順を示す。

1. 現在のrobots.txtを確認する：GPTBot、Google-Extendedなど主要クローラーの設定が記述されているかを確認する。何も書かれていなければ、現時点でAI学習への提供を暗黙に許可している状態にある。
2. 新ポリシートークンを追記する：AI学習を拒否したい場合は以下の記述をrobots.txtに追加する。これはクロール禁止（Disallow）とは別の制御であり、検索インデックスには影響しない。

   User-Agent: __usage_ai-training
   Disallow: /

3. 既存設定を削除しない：新シグナルは既存の個別設定を代替するものではなく、GPTBotなどはそのまま残す。両者は独立して機能する。
4. 各社の正式発表を追う：OpenAIは数か月以内に詳細を公表、Microsoftは2027年2月1日から正式適用とされているため、その時点で動作確認と追加対応を行う。

注意点として、ワイルドカード（User-Agent: *）はこの新ポリシートークンとして解釈されない（出典: Unite.AI、CellCog.AI）。既存の全クローラー向け設定と混同しないよう記述を分離しておく必要がある。

また、このシグナルには構造的な限界もある。法的拘束力がない以上、悪意ある収集者がシグナルを無視しても、現時点では実効的な対抗手段がない。AIトレーニングデータの権利保護・著作権をめぐる法整備は各国で進行中であり、robots.txtによる設定は現在取り得る一手段ではあるが、法的保護の代替にはならない。標準化の動向は今後も変化が予想されるため、IETFドラフトの進捗と各社の公式発表を継続的に確認することが現実的な対応となる。

---

参考文献

• Unite.AI「OpenAI to Honor Shared Robots.txt Signal for AI Training Preferences」 https://www.unite.ai/openai-to-honor-shared-robots-txt-signal-for-ai-training-preferences/
• TokenPost（同件報道） https://tokenpost.com/
• CellCog.AI（Google・Microsoft支持表明の報道） https://cellcog.ai/
• daily.dev（OpenAI既存クローラー設定継続に関する報道） https://daily.dev/
• IETF個人ドラフト「Machine-Readable Training Preference Signal」（draft-kelley-aipref-training-preference-signal-00） https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/
• RFC 9309 Robots Exclusion Protocol https://www.rfc-editor.org/rfc/rfc9309