Category · 41ページ目
LLM推論
40件
エージェント同士の対決を観戦:単一のA10GでのGemma 4 E4B推論の高速化へのライブチャレンジ
Gemma 4 E4B推論の高速化に焦点を当てたライブチャレンジイベント。エージェントが競い合う形式で、LLMの推論速度向上に向けた取り組みと、その性能比較を示す。
OSCAR RotationZoo - 2ビットKVキャッシュ量子化のためのオフラインスペクトル共分散認識回転
OSCAR RotationZooという、2ビットKVキャッシュ量子化のためのオフラインスペクトル共分散アウェアローテーション手法に関する論文。LLMのメモリ効率と推論速度の向上に貢献する技術。