OpenAIが本番130万会話を再生して新モデルの問題行動を出荷前に測る

OpenAIが、新モデル評価における「テストと気づかれる問題」を解決するため、本番の会話ログをリプレイする「Deployment Simulation」手法を導入したことを解説。評価方法の進化と、より現実に即したモデル性能測定の重要性を示唆している。

• OpenAIは、本番環境の会話ログを基に新モデルの行動を評価する「Deployment Simulation」を開発した。
• この手法は、モデルが「テスト中」と認識する問題を回避し、実際のユーザー体験に近い評価を可能にする。
• 約130万件の本番会話ログを匿名化・個人情報除去して使用し、候補モデルに再生成させることで評価する。
• 従来型ベンチマークに比べ、モデルがテストだと見抜く割合が大幅に低く、より現実的な評価ができるとされる。
• コーディングエージェントに対しても、ツール呼び出しをシミュレートすることで、本番に近い環境での評価を拡張している。