#ベンチマーク14件

[7194] ChLogic: 中国語表現における論理推論の堅牢性を評価する

2026年6月17日に公開されたarXiv論文「ChLogic: Evaluating Robustness of Logical Reasoning in Chinese Expressions」では、中国語表現における論理的推論の頑健性を評価するためのベンチマークが提案されている。

[6297] ChLogic: Chinese Expressionsにおける論理推論の堅牢性の評価

本研究は、中国語表現における論理的推論の頑健性を評価するベンチマーク「ChLogic」を提案する。Yi-1.5-34B-Chatは、DeepSeek-V3による生成・修正・逆翻訳プロセスにおける検証者として使用された。評価対象となったQwen3、Mistral、GLMモデルはベンチマーク構築には参加していない。

[5872] Chatbot Arenaおよびその他のベンチマークにおけるYi-34B-Chatのランキング

Yi-34B-Chatは、2026年6月13日時点のChatbot Arenaリーダーボードにおいて、Claude-1やQwen1.5-72B-Chatなどのモデルと比較して高い評価を得ています。

[2395] LLM Benchmark Leaderboard 2026: コーディング、数学、推論、エージェント | CodeSOTA

2026年のLLMベンチマークリーダーボードでは、MMLU、GPQA Diamond、AIME 2025、LiveCodeBench Proなどの評価項目で、Gemini 3.1 ProがLiveCodeBench Proで2887のEloを記録。透明性を重視しつつ、ベンチマークの不正利用や汚染に注意を促しています。

[1410] LLM Benchmark Leaderboard 2026: コーディング、数学、推論、エージェント

2026年のLLMベンチマークリーダーボードは、知識、推論、数学、コーディング、エージェントタスクを評価。Gemini 3 Pro、DeepSeek-V4-Pro Max、Kimi K2.6などの最新モデルをリストアップ。ベンチマークスコアへの過信は禁物であり、エージェントベンチマークの不正利用の可能性も指摘されています。

LLM Benchmark Leaderboard 2026: コーディング、数学、推論、エージェント

2026年5月20日発表のLLMベンチマークリーダーボードでは、Gemini 3 ProがLiveCodeBench Proで2439Eloを記録し、コーディング能力でトップとなりました。このリーダーボードは、知識、推論、数学、コード、および持続的なツール使用における最先端モデルのパフォーマンスを、ベンダーの宣伝を排除し、正確な日付とソースリンク付きで、独立かつ正直に測定することを目指しています。

LLMベンチマークリーダーボード2026：コーディング、数学、推論、エージェント

CodeSOTAのLLMベンチマークリーダーボード2026は、大規模言語モデル（LLM）の性能を「LiveCodeBench Pro」などの最新ベンチマークを用いて評価・追跡する。Eloレーティングシステムは、特にコーディングタスクにおけるモデル間の相対的な強さを測るために活用されている。

[232] 予測LLMルーティングの再考：シンプルなKNNが複雑な学習済みルーターを上回る場合

本論文は、大規模言語モデル（LLM）のルーティングにおける既存の複雑な学習ベースのアプローチに疑問を呈し、k近傍法（kNN）のようなシンプルな手法が、計算効率とロバスト性の両面で同等またはそれ以上の性能を発揮することを示しています。特に、多モーダルLLMへのルーティングにおいても、kNNベースの手法が有効であることを実証しました。

[209] 予測LLMルーティングの再考：シンプルなKNNが複雑な学習済みルーターを上回る場合

本研究では、大規模言語モデル（LLM）のルーティングにおける予測方法について考察し、単純なkNN（k近傍法）が複雑な学習済みルーターよりも優れた性能を発揮することを示しています。評価ベンチマークは、命令追従、質問応答、推論タスクを網羅し、一貫した評価プロトコルとパフォーマンス指標を確立しています。

[91] Chatbot Arena + | OpenLM.ai

OpenLM.aiが提供するChatbot Arena+は、2026年5月18日時点で最新のLLMリーダーボードを公開しました。Yi-34B-Chatは1134のスコアでランクインしており、他の主要モデルと比較してその性能が評価されています。