AIクローラーのUAは名乗るだけ — 検証済みだけ数えたら本物468件・偽装991件だった

AIクローラーのUAは名乗るだけでは信用できず、実際のアクセス検証が必要であることを指摘。GPTBotやChatGPT-UserのUA偽装が多数存在し、検証済みの本物は468件、偽装は991件あった。AIによる情報収集の現状と課題を示す。

• AIクローラーのUser-Agent（UA）は偽装可能であり、UA名だけでは実態を把握できない。
• CloudflareのVerifiedBotCategoryとsitemapでの検証により、実際のアクセスを判別する。
• 8日間の検証で、GPTBotを名乗るリクエストのうち、OpenAIによる検証済みは13%に過ぎなかった。
• 認証情報スキャンを狙う偽装リクエストが、AIクローラーとしてのリクエスト数より多かった。
• AIクローラーのUA別集計は「主張の一覧」であり、実体の一覧ではないと結論づけている。