研究/論文初出 8/20 02:46
学習され、そして失われた：事前学習における実測された単一例の反事実
Learned, Then Lost: A Measured Single-Example Counterfactual in Pre-training
https://export.arxiv.org/api/query2026/8/20
AI要約
この研究では、事前学習における単一トレーニング例の貢献度を測定する実験を行いました。GPT-2モデルを小規模で24回、異なる条件で事前学習し、単一のトレーニング例がモデルに与える影響を詳細に分析しました。これは、従来推定に頼っていたアプローチに代わる、より正確な測定方法を提案するものです。
AI要点
- 事前学習における単一学習例の影響を測定するため、小規模実験を24回実施
- 学習初期に挿入された学習例は、一時的にモデルの予測に影響を与えるが、学習が進むと影響が消失する
- 挿入された学習例は、モデルの内部表現（重み配置など）をわずかに変化させるが、学習盆地から逸脱させるほどではない
- 単一学習例の寄与は、学習の進行とともに失われ、最終的なモデル性能には検出可能な影響を与えないことが示された
なぜ重要か
事前学習における個々の学習データの役割と、その影響が時間とともにどのように変化するかを実証的に示したことで、データ効率の良い学習手法の開発に貢献します。