この記事のポイント
- 自社サイトのAI学習設定を複数社へまとめて伝える案です。既存のクローラー別設定も継続します。
- 学習への利用許可・拒否をURLの範囲ごとに指定できます。現在は個人提出の草案です。
- Microsoftの新設定は2027年2月1日から反映。NOARCHIVEなどの移行期限は3月1日です。
AnthropicのKevin Kelley氏が2026年10月30日、AI学習の意向を伝える個人草案を公開しました。OpenAIの同日発表とMicrosoftの実装予定を合わせて整理します。
robots.txtの共通設定で対応企業に学習の意向を伝える
robots.txtは、サイトを自動巡回するプログラムにルールを伝える公開ファイルです。従来はGPTBotなど各社の巡回プログラム名を指定していました。草案は、学習という用途を表す共通の名前を使います。
例えば、User-agent: __usage_ai-trainingの行と、その下のDisallow: /を組み合わせます。これはサイト全体の学習利用を拒否する意向です。Allowで特定のURL範囲を許可する設定もできます。共通名と許可・拒否の指定を、一つの設定群として書く方式です。
既存のrobots.txtの文法や、より具体的なURL指定を優先する規則は維持する設計です。未対応のプログラムは、認識しない名前の設定群を無視します。草案はまだIETFが承認した標準ではありません。対応企業が学習への利用を判断するための意向表明で、巡回自体を遮断する設定とは別です。
OpenAI・Microsoftが示した対応スケジュール
OpenAIは今後数カ月以内の実装を目指し、既存の巡回制御も維持すると発表しました。MicrosoftのBing公式ブログは、2027年2月1日から再巡回時に新設定を反映するとしています。学習の設定とは独立して、回答を作る際にページを参照する「グラウンディング」の設定も用意します。
NOARCHIVE・NOCACHEを使うサイトでは移行の準備が必要です。Microsoftは3月1日以降、両タグを学習・回答参照の意向として読み取らなくなります。学習はrobots.txtかページ単位、回答参照はページ単位で新設定を示します。回答参照を制限し続けたい場合は、Bing Webmaster Toolsで暫定設定も登録します。受付は2026年12月15日からで、同日時点で旧タグを利用するサイトが対象です。暫定設定は再巡回か2027年9月30日の早い方まで適用されます。
まとめ
自社サイトを管理する方には、複数社への学習設定を共通化する選択肢が増えます。Microsoftの旧タグを利用中なら、学習と回答参照のどちらを制限しているか整理することが移行の出発点です。巡回そのものの制御は、AIエージェントのサイトブロックを扱った記事が比較の参考になります。既存設定と各社の実装予定を確認し、サイト運用担当と移行範囲を決めるとよいでしょう。
※2026年11月時点の情報です。各社の実装状況は変わる可能性があります。
