数か月分のアクセスログみていたところ、OpenAI（Chat GPT）やAnthropic（Claude）などのLLMを提供している企業のクローラーのアクセスが増えていた。突発的なアクセスの偏りがあるので、原因をみていたら、こいつらによるものだった。
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)や
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)Chat GPTもClaude（クロード）も、AIを使ったウェブ検索に力をいれている。データ収集のためにクローラーが活動しているみたいだ。GoogleやBingのクローラーは定期的にいるが、急にふえたということはないので、地の利があるのだろう。とはいえ、情報の探し方もかわりつつあるので、この先はどうなるのかはわからない。ググるよりも、LLMにチャットで聞くほうが増えつつあるので。