Category · 8ページ目
LLM推論
40件
LLM推論初出 9/9 13:43
RAGの精度は「データ」で決まる — Contextual Retrievalを実測したら1位正解率が36%→100%になった
RAGの検索精度はデータ準備（チャンクサイズ、分割法、加工）で決まる。Contextual Retrievalにより、検索の1位正解率が大幅に向上した。検索精度の向上はコスト削減にも直結する。
https://zenn.dev/topics/ai/feed
LLM推論初出 9/9 19:02
VLM量子化はLLMだけ見ない：ViT・Connector・LLMのbit配分を考える
VLMの量子化において、LLMだけでなくViTやconnectorのビット配分も考慮することで、モデルサイズ削減とタスク精度の向上が期待できる。BLIP-2とLLaVA 1.5にGPTQ・AWQを適用し、ViT、Q-Former、LLMのビット配分を探索した論文の知見を紹介している。
https://zenn.dev/topics/ai/feed
LLM推論初出 9/9 02:54
コード生成におけるテスト時強化学習のためのエントロピー正則化ランクマスク付きポリシー最適化
コード生成におけるテスト時強化学習（TTRL）のための、エントロピー正則化されたランクマスクド方策最適化手法を提案する。従来のTTRLはコード生成の課題には直接適用できないため、問題文からプローブ入力を生成し、候補プログラムを実行して報酬を導出する新たなアプローチを開発した。