#LLM-Yi-34B1件

LLMルーティングのための相関認識型コンテキストバンディットと代理報酬

LLMルーティングにおける新たなアプローチとして、相関を考慮したコンテクスチュアルバンディットと代理報酬（surrogate rewards）を導入。オフラインパフォーマンスデータを活用し、LLM間の相関と予測混合戦略を考慮することで、ルーティング効率の向上と後悔（regret）の低減を目指す。Yi-34B-Chat等を用いた評価で、LLMシステム性能向上の可能性を示唆している。