TraceML: 機械学習開発における人間とエージェントの計画立案の実証分析

TraceMLは、機械学習開発における人間とエージェントの計画策定に関する経験的分析を可能にするフレームワークです。LLMは独立した問題に対してはコードを生成できますが、機械学習開発では人間には及びません。TraceMLは、最終成果物だけでなく、開発プロセス全体を記録・分析します。

• TraceMLは、機械学習開発における人間とAIエージェントの計画立案プロセスを実証分析するためのフレームワーク。
• Kaggleコンペティションの4,465の人間と207のAIエージェントの開発軌跡データを収集・分析。
• 人間はデータ、モデル、検証などを段階的に進め、一度諦めたアプローチを再開する柔軟性を示す。
• AIエージェントは、特定タスク（アンサンブル重み付け、モデル変更など）に特化し、人間のようには作業を多様化・再開できない。
• 人間の実践から抽出した短い計画プロンプトは、AIエージェントの行動を人間に近づけ、スコアを向上させる。