分布ファインチューニングによるLLMライティングの改善

LLMは文章作成において定型的になりがちで、特定のトークンやフレーズを過剰に使う傾向がある。SFTで訓練されたモデルは、MMD、JMQ、L2トークン分布を使用すると、訓練データの分布に一致しないことが示された。これを解決するため、Distribution Fine Tuning (DFT) という新しい訓練アルゴリズムが開発された。