Category · 30ページ目
LLM推論
40件
Interpretability入門 Part 1 ~「LLMはブラックボックス」はもう古い?モデルの中身を読む技術たち~
LLMの解釈可能性(Interpretability)入門。かつて「ブラックボックス」とされたLLMの内部構造を理解する技術に焦点を当て、Mechanistic Interpretability Workshopの参加レポートを基に分野の全体像を解説する。
証拠に基づいたビデオ質問応答
動画理解のための「E-VQA」タスクを提案。回答だけでなく、動画内の証拠となる領域を正確に特定することで、不透明な動画LLMの解釈可能性を高める。遮蔽や非剛体変形も考慮した、より高度な動画QAを目指す。
帰納的推論タスクにおけるTransformerの不変学習ダイナミクス
Transformerモデルが帰納的推論能力を獲得するメカニズムを理論的に解明。注意機構の学習ダイナミクスが特定の高次元空間に限定されることを証明し、モデルの推論能力の基盤を説明する。