Tag
LLMにおける量子化ダメージの構造:なぜ次のビットはグローバルに費やされるべきなのか
LLMの推論コスト削減に用いられる量子化(Quantization)の影響を分析し、追加の精度予算をどこに割り当てるべきかを研究。層ごとに精度を変化させる実験により、量子化ダメージの構造を解明し、より効率的な量子化手法の開発に貢献する。
LAION-BVD: マルチモーダル事前学習のための1000万時間オープンビデオデータセット
マルチモーダル事前学習のための大規模オープンビデオデータセットLAION-BVDを公開。1000万時間相当のビデオデータから、動画、音声、画像を統合的に学習し、比較可能な性能を達成するモデルの学習を可能にする。