AIの捏造を「プロンプトの約束」で直したつもりが、翌月また同じ事故が起きた

AIによる捏造（デマ）をプロンプトの約束事で対策したものの、翌月も同様の事故が再発した経験を共有。LLMの事故対策はプロンプトだけでなく、運用ルールやログ解析など多角的なアプローチが必要であることを強調する。

• AIによる数字の捏造（デタラメな残高記録）が、前回対策を講じたにも関わらず再発した。
• プロンプトに書いたルールはAIの挙動を制約するのではなく、確率を上げるに過ぎず、構造的な問題は根本解決にならない。
• AIが間違えた際に書き込めなくする「機械ガード」を導入し、記録前に本物のユーザーターンに実在するか照合する。
• 「本物のユーザーターン」の定義を厳密化し、システム注入やツール結果の差し戻し等を除外した。
• AIの事故対策は、プロンプトによる約束事ではなく、AIが間違った場合に書き込めないようにする仕組みが必要である。