AIエージェントの安全性を測ったら、8回自分に騙された

AIエージェントの安全性評価中に発生した、計測バグによる自己欺瞞の経験を共有。数字の向きを変えるバグを8回踏み、有意差なしという結論に至る過程を詳述する。

• AIエージェントの安全性評価において、8回にわたる計測バグにより、意図しない数値の変動や誤った結論に至る危険性が示された。
• 「変換が効いていないのに効いている前提で集計」や「判定者に条件を教えてしまう非盲検状態」などが計測バグの例として挙げられている。
• 「やります」と言ったが何も起きていない譲歩をコンプライアンスに数えてしまうなど、評価基準の曖昧さが問題となる場合もある。
• これらのバグは、LLM-as-a-judgeで何かを評価しているプロジェクトで高確率で踏む可能性があると警告している。