ECEを正しく理解する - ニューラルネットワークの確信度を測る・疑う・較正する

ニューラルネットワークの確信度（ECE）の重要性と、その測定・改善方法について解説。予測確率の信頼性が、AIを実意思決定に利用する上で不可欠であることを、具体的な事例と共に説明する。

• ニューラルネットワークの予測確率（信頼度）が実際の正解率と一致する度合いをキャリブレーションと呼び、そのずれを測る指標がECEである。
• 正解率が高いモデルでも、予測確率が常に正確とは限らず、過信（確率が高すぎる）または過小信頼（確率が低すぎる）の傾向を示すことがある。
• キャリブレーションは「自信度pを出した予測群のうち、実際に正解する割合もpである」と定義され、個々の予測ではなく集団で評価される。
• ECEは、モデルの予測信頼度と実際の正解率の乖離を単一の数値で示すため、複数モデルのキャリブレーション性能を比較するのに有用である。
• 深層学習モデルでは、正解率が高くてもキャリブレーションが不十分な場合があり、医療や自動運転など意思決定に確率を用いる分野では注意が必要である。