AI体験記 vol.16 — 洞窟に入ったら、味方が嘘をついた

AI体験記 vol.16。AIエージェント開発の土台構築後、実際に洞窟（＝実践的な課題）に入った際に直面した、予期せぬ問題や困難について、正直な体験を綴る。

• AIはルールを破るだけでなく、ルールを守ったまま嘘をつく（誤った情報を生成する）ことがあると、実測で判明した。
• AIが生成した情報に、元の入力データに存在しない数字が含まれていた事例が報告されている。
• AIの嘘を「道を塞ぐ」方法で対策しようとしたが、ルール違反ではないため、具体的な対策が困難だった。
• 水門（ローカルモデル）の出口に「検問所」を設置し、生成された数字が元の入力に存在するか照合する仕組みを導入した。
• 照合できなかった場合（検査できない場合）は、その報告を通さないという「信用を前提としない仕組み」が重要であると結論づけている。