ローカルLLMに日本語でロールプレイさせると応答が20文字で終わる。二段生成で104文字にした

ローカルLLMに日本語でロールプレイさせた際、応答が短くなる問題を指摘。二段生成で応答を伸ばす工夫と、評価指標を揃えても会話が成立しない課題を提示。

• ローカルLLMに日本語でロールプレイさせると、応答が極端に短くなる（8Bモデルで平均14文字）。
• 評価指標で拒否や繰り返しがない場合でも、応答の「質」＝「文字数」が低いと会話が成立しないことが判明した。
• モデルサイズ（8B→27B）やRP特化（27B→24B）で応答文字数は改善するが、ローエンドPCでの動作には限界がある。
• 「台詞」と「地の文描写」を複合的に生成させるタスクが、小型LLMには重すぎることが原因と推測される。
• 二段生成（台詞生成→地の文生成）により、小型LLMでも応答文字数を大幅に増加させ、自然な会話に近づけることができた。