ウェブサイトへのアクセスの99％超がボットに、人間1回に対して214回もページを読み込むAIスクレイパーとの攻防

ウェブサイトへのアクセスの99％超がボットによるものであることが判明しました。AIスクレイパーが人間1回のアクセスに対し214回もページを読み込むという状況が報告されています。このAIクローラーやスクレイパーとウェブサイト運営者との攻防が約1年間にわたり続いていました。

• ウェブサイトへのアクセスにおいて、ボットによるものが99%を超え、人間によるアクセスは214回に1回の割合だったと報告された。
• AIクローラー（Anthropic Claude-SearchBotなど）は、訪問者1人あたり数万ページを取得する一方、従来の検索エンジンボットは数百ページ程度だった。
• サイト運営者はAIクローラーのアクセスを遮断する対策を講じたが、完全なブロックは困難であることも示唆された。
• AIによるウェブスクレイピングが急増し、ウェブサイト運営に大きな負荷を与えている現状が浮き彫りになった。