LLM推論初出 6/5 02:57

再帰なしでの再帰ネットワークの事前学習

Pretraining Recurrent Networks without Recurrence

https://export.arxiv.org/api/query2026/6/5

AI要約

再帰なしでリカレントネットワークを事前学習する手法を提案。BPTTの逐次性と勾配消失・爆発の問題を回避し、RNNの訓練を教師ありメモリトレーニング(SMT)として問題設定し直す。