AIに100通り試させたら、効果ゼロなのに5個が「有意」だった

AI 要約

AIエージェントが100通りのセグメントを自動検証する場合、真の効果がゼロでも約5件が偶然「統計的有意」として検出されるという多重検定問題を実験で示した記事。これはp値0.05の意味そのもので、100回試せば5回は誤検知が起きる。AIによる大規模自動検証が普及する中、この落とし穴を理解せずに「勝ち施策」を信じると、意思決定が乱数に踊らされる危険がある。データ分析者・マーケターなど施策検証を行うすべての実務者に影響する。