「有意差なし ≠ 差なし」を Claude Fable 5 は理解しているのか——設計書レビューで見えた Opus 4.8 との差

AI（Claude Fable 5, Opus 4.8）が統計的誤謬「有意差なし ≠ 差なし」を理解しているかを、ゲームの設計書レビューで検証。問題①として自発的に指摘したモデルと、質問されるまで触れなかったモデルの差を比較し、AIの理解度や指摘能力の違い、特に統計的思考の正確性について考察している。

• 「統計的有意差なし」は「差がない」ことを意味せず、差がないと主張するには別途同等性検定（TOST）が必要である。
• Claude Fable 5は、設計書レビューにおいて「有意差なし ≠ 差なし」という統計的誤りを、質問前に自発的に指摘し、その逆インセンティブ構造まで説明した。
• Claude Opus 4.8は、同様の統計的誤りを指摘されたが、それは統計に関する明示的な質問を受けた後であり、改善提案のレベルに留まった。
• Fable 5は、単に統計的手法を知っているだけでなく、それが生む逆インセンティブ構造を理解し、レビューで自発的に機能させることができた点が優れている。