AIの提案を3.7ヶ月ぶん分類したら、「推します」の的中率が場面で12倍違った

AIコーディングエージェントからの提案を3.7ヶ月分分類した結果、提案の的中率が場面によって12倍異なったことを報告。AIの提案を効果的に活用するためには、提案の質を評価し、却下された提案も記録・分析することの重要性を示唆する。

• AIコーディングエージェントからの提案に対し、ユーザーが「推します」と返答した場合の的中率が、場面によって12倍違ったことが判明した。
• 「技術・実装の推し」の的中率は73%だった一方、「アイデア出しリストの推し」は6%と低かった。
• 却下された提案の最多は「リストを丸ごと出し直させる」で、全体の44%を占めた。
• AIの提案を3.7ヶ月分（1470組）分類し、却下された提案を分析することで、AIとの対話運用改善の糸口を探った。
• AIとの対話は量が多いほど効果的であり、却下された提案の分析はAIの提案精度の向上に繋がる可能性が示唆された。