AIに100通り試させたら、効果ゼロなのに5個が「有意」だった

AIエージェントに100通りの施策検証をさせた結果、効果ゼロなのに「有意」と判定された例を紹介。AIによる検証の信頼性に関する注意喚起。

• AIエージェントによる多数の施策検証は、真の効果ゼロでも偶然「有意な改善」を見つけてしまうリスクを高めます。
• 統計的有意差は、試行回数（セグメント数）を増やすほど、偶然に「改善」として現れる確率が飛躍的に増加します。
• AIは「有意な結果」にそれらしい理由を付与するため、ノイズを「発見」と誤認しやすい危険性があります。
• 誤検出を防ぐには、「ヌル較正（偶然の分布確認）」、「時期分割（前後半での一貫性確認）」、「検出力計算（測定可能最小効果の事前算出）」が不可欠です。
• 自動検証スクリプトのバグや、検定の閾値設定ミスなどが、誤った結果を招く原因となります。