AIクローラーは許可すべき？風俗サイトのrobots.txtの考え方

AIの運営会社は、Webのページを読み集めるクローラーを動かしています。robots.txtでこれらをブロックするべきか、許可するべきか、迷っているサイトも多いのではないでしょうか。

この記事では、主なAIクローラーの種類と役割を整理し、アダルト・風俗サイトでrobots.txtをどう設定するかの考え方を解説します。

AIクローラーの2つの役割

主なAIクローラーの一覧

名前や役割は、各社のヘルプページで変わることがあります。設定する前に、各社の公式の説明を確かめてください。

GoogleのAIによる概要はGooglebotが読んでいる

GoogleのAIによる概要やAIモードは、通常のGoogle検索と同じGooglebotが読んだページをもとに作られます。Google-Extendedをブロックしても、AIによる概要での扱いは変わりません。逆に、Googlebotをブロックすると、検索にもAIによる概要にも表示されなくなります。

アダルト・風俗サイトでの考え方

お店の料金やシステムをAIに正しく紹介してほしいなら、検索用のクローラーには読ませておくのが基本です。一方で、次のようなページは、AIにも検索エンジンにも読ませないほうがよいことがあります。

• 会員だけが見るページログインが必要なページは、そもそもクローラーに見せる必要がない
• 個人情報を含むページ予約の確認画面など、個人の情報が表示されるページ
• 管理画面サイトの管理用のページ

露骨な画像や表現が多いページは、AIの方針で扱われにくいことがあります。ブロックで隠すより、成人向けのページとそれ以外のページの役割を分け、AIに紹介してほしい情報を一般向けのページにまとめておくほうが効果的です。

robots.txtの書き方の例

検索用のクローラーは許可し、学習用のクローラーだけを止める場合の例です。

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

robots.txtは、書き間違えるとGooglebotまで止めてしまうことがあります。変更したあとは、Search Consoleのrobots.txtのレポートや、主要なページがクロールできるかを必ず確かめてください。

ブロックするかどうかの判断表

よくある質問

robots.txtは、ルールを守るクローラーに対する意思表示です。すでに集められた情報や、ほかのサイトに載っている自店の情報が使われることはあります。

クローラーのアクセスが多いと負荷がかかることはあります。負荷が問題になる場合は、サーバーの設定やサービスごとの調整方法を確かめましょう。

Googlebotと同じく、AIクローラーもボタンを押したり入力したりはしません。年齢確認のページへ移す作りや、確認後に本文を読み込む作りでは、本文を読めないことがあります。