Docker Agent の eval が知りたいんだよォーー！！！！

Docker Agentを内製開発エージェントの実行基盤に利用するチームが、エージェントの評価（eval）の難しさと、システムプロンプト変更の影響を測りにくい問題について論じています。LLMの揺れと変更の影響を区別する困難さに触れています。

• Docker Agentの「eval」サブコマンドは、LLMの出力が揺れる前提で、期待通りに動いているかを確認するための機能である。
• 従来の決定論的なテストとは異なり、LLMエージェントのテストでは、確率的な挙動や多様な正解を考慮する必要がある。
• Docker Agentのevalは、過去の実行セッションと比較することで、LLMの挙動の一貫性や変化を評価する。
• LLMエージェントの評価（eval）は、比較対象（スキルを外した結果、人が決めた期待値、過去の実行結果）によって意味合いが異なるため、注意が必要である。
• Docker Agentのevalは、主に保存されたセッションを比較対象とし、LLMの出力を評価する仕組みで、v1.131.0以降で利用可能である。