AIエージェントの挙動を2つの実行間でdiffするCLI「whatbroke」を作った

AIエージェントの挙動変化を検出するCLIツール「whatbroke」の紹介。モデル更新時に、見た目は問題なくても裏で予期せぬ動作変更が発生するリスクに対処するためのツールです。

• AIエージェントのモデル変更時に、ツール呼び出しの消失など、挙動の破壊的な変化を検出するCLIツール「whatbroke」が開発されました。
• 従来のテキスト差分では検出困難な、エージェントの裏側の挙動変化（ツール使用、引数、コスト、レイテンシ）を比較・報告します。
• CIに組み込み可能で、プロンプトやモデル変更時の品質保証を自動化し、開発者のデバッグ作業を大幅に削減します。
• Langfuse、LangSmith、OpenTelemetryなどの既存トレースデータも取り込めるため、再記録不要です。