OpenAIのWebクローラー「GPTBot」をブロックする方法
OpenAI の Web クローラー「GPTBot」。
そのユーザーエージェント文字列は、以下のようになります。
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)
.htaccess に追記してブロックするか。
robots.txt に GPTBot を追加します。
User-agent: GPTBot
Disallow: /
特定のディレクトリの許可・拒否するかでも良いでしょう。
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/