分割、プロンプト、集約：言語モデルにおける統計的自己整合性

LLMの推論を条件付き確率として解釈する。プロンプトを条件、出力を確率分布の推定と見なし、確率の法則が成り立つことを検証する。これにより、LLMの推論が確率論的に整合しているかを確認する手法を提案。

• LLMの推論結果が確率的同一性を満たすか統計的自己整合性を評価した。
• 二分木構造を用いて集団を再帰的に分割し、LLMの推定値を集約して比較した。
• 多くの最先端モデルで、確率的な整合性の法則からの逸脱が広範囲に見られた。
• 特に、より詳細な部分集団からの推定値が、全体集団の推定値よりも人間に近い傾向があった（マクロ誤謬）。