AI学習への利用拒否を「robots.txt」で一括指定へ！OpenAI・Google・Microsoftが対応表明、Anthropicも実装を進める

📢 何が発表された？

米OpenAI・米Google・米Microsoftが10月30日（現地時間）に、
AI学習の意向をまとめて伝える仕組みへの対応方針を発表しました。

米Anthropicも実装を進めています。

🧩 どんな仕組み？

これまでは、AI企業ごとにクローラーを見分けてルールを書き分ける必要がありました。

新しい仕組みなら、
robots.txtに共通のシグナルを書くだけで意向が伝わります。

例えば「Disallow: /」と「Allow: /press-kit/」を並べると、
/press-kit/以下を除いて学習に使わないよう求めます。

⚠️ 注意したいこと

この指定は、クロールそのものを禁止するものではありません。
クロールの制限は従来のルールを使います。

共通トークンを指定しなければ、
学習への意向を表明していない扱いになります。

ドラフトは個人名義で提出されたもので、
IETFの標準化プロセス上の正式な地位はまだありません。

🗓️ 各社の対応時期

Googleは、共通シグナルで拒否していてGoogle-Extendedを明示していない場合、
Google-Extendedも拒否と扱う方針です。

🔧 Microsoftの追加設定

metaタグやHTTPヘッダでページごとに学習の可否を指定でき、
robots.txtの設定より優先されます。

NoArchiveとNoCacheは、新しい設定に置き換わります。