「どこが遅い」「どこで失敗した」を勘で探すのをやめた ― 開発中のエージェント可観測性

開発中のAIエージェントにおける「観測性」の重要性を説く。DataRobot CLIの実験プラグインを例に、LLMやツールの呼び出し速度、失敗箇所などのデバッグ情報を可視化し、開発効率を高めるための仕組みを考察する。

• DataRobot CLIのプラグイン「dr xp」は、開発中のエージェントの可観測性を向上させる。
• デプロイ後だけでなく、開発中に「どこが遅いか」「どこで失敗したか」を特定できるようになる。
• OpenTelemetryのトレース基盤を開発中と本番で共通して使用し、観測の連続性を確保する。
• LLM呼び出しやツール実行などのスパン（個々の処理単位）を詳細に追跡可能にし、勘に頼らないデバッグを可能にする。