ChatGPTはどのように次のTokenを選ぶのか？

ChatGPTが次のトークンをどのように選ぶのか、Sampling、Temperature、Top-K、Top-Pといった確率的選択の仕組みについて解説している。

• LLMが次に来るTokenを選択する際、確率分布に基づいてSamplingが行われることを解説している。
• Temperatureパラメータは確率分布の偏りを調整し、低いと確実性の高いToken、高いと多様なTokenを選びやすくなる。
• Top-Kは確率の高い上位K個のTokenを候補とし、Top-Pは確率の累積がPを超えるまでの上位Tokenを候補とする。
• LLMの文章生成は、Logitsから確率計算、Temperature/Top-K/Top-Pによる候補絞り込み、SamplingによるToken選択の繰り返しで行われる。
• Token選択の仕組みを理解することで、LLMの出力の安定性やランダム性を制御する糸口となる。