皆LLMルーターを構築しているが、我々はそれを廃止した

LLMルーターは現在多くの開発者によって構築されていますが、その効果や必要性について議論が起きています。あるプロジェクトでは、自社のLLMルーターを廃止したことを報告しており、ツールの進化と実用性に関する考察が促されます。

• LLMルーターは、プロンプトのみではタスクの複雑性を正確に判定できないため、廃止された。
• キャッシュ（特にプレフィックスキャッシュ）の方が、ルーティングよりもコスト削減に効果的であることが判明した。
• LLMルーターは、モデルの選択が動的に変わるため、一貫した応答品質を保証できないという問題があった。
• 4ヶ月間の利用と7000人のユーザーのフィードバックから、LLMルーターは期待されたほどの効果が得られないと結論付けられた。