「動く」と「解ける」は別物。AIエージェントに150問解かせて見つけた本当のバグたち

AIエージェントに150問のトラブルシューティング問題を解かせた結果、自動テストをパスしても人間には解けないバグが存在することを発見。AIテストの限界と改善点を探ります。

• AIエージェントにネットワーク設定問題150問を解かせたところ、自動テストでは見つからないバグが複数発見された。
• テストではパスしても、人間には解きにくい、あるいは情報が不足している問題点がAIエージェントによって明らかになった。
• バグ1：検証ツールでAIにヒントを表示させていたが、実際のユーザーインターフェースではヒントが表示されない設計だった。
• バグ2：AIエージェントが実行した「show」コマンドの一部が、シミュレーターに実装されておらず、正常に動作しなかった。
• AIエージェントによる検証は、単なる自動テストでは見逃される「人間視点の使いにくさ」や「実装漏れ」を発見するのに有効である。