「わからないなら聞いて」AIが気を利かせた自動確定機能を撤去した話

AIエージェントの「気の利かせすぎ」による自動確定機能の撤去事例。AIが独自に定めた「選ぶ余地がない」基準と人間側の認識のズレにより誤った断定が発生。AIの推測をやめ、人間に質問させる仕様への変更で解決。

• AIエージェントに「実質選ぶ余地のない決定は自動で」と依頼したところ、AIが独自の「選ぶ余地がない」判定基準を発明した。
• AIが考案した基準は、先の条件まで含めて判断したため、人間が求めていた正解の基準とズレが生じ、誤った確定を引き起こした。
• AIの「気の利かせ方」が人間の意図と外れ、手動での修正が必要となったため、AIの推測機能は丸ごと撤去されることになった。
• 「もっと賢い基準」ではなく、AIの推測をやめて人間に素直に質問させるように修正することで、問題が解決した。
• AIによる「安全側」の提案が、実データでは誤りを増やすケースがあることが示唆された。