タスク別LLM比較で「主力」が入れ替わる理由、評価軸の直交性から見る

タスクごとに最適なLLMの評価軸は異なり、軸間の相関は弱い。単一タスクで最適化されたモデルが別タスクで精度が落ちる原因は、評価軸の直交性にある。タスク毎に評価軸を再定義することが重要。

• 単一タスクで決定した「主力LLM」が別タスクで精度低下したのは、タスクごとに最適化すべき評価軸が異なるため。
• 事実忠実度を重視するモデルが、文体自然さや構成網羅性でも優位とは限らない（評価軸間の相関が弱い）。
• タスクごとに評価軸を再定義し、同一プロンプト・複数モデル・複数日で評価することで、モデルの序列がタスクごとに反転した。
• 「1つの主力モデルを全タスクに固定する」運用は、単一タスクの評価結果を他タスクに外挿しているだけで根拠を失う。
• タスク×評価軸の組を単位としてモデルを選定する必要がある。