logit maskingとは何か

LLMの出力を制約し、指定形式を保証する「制約付きデコード（logit masking）」の仕組み、効果、実例を解説。出力可能なトークンを制限することで、ルールに合わない出力を物理的に防ぐ技術について、図解を交えて説明している。

• Logit masking（制約付きデコード）は、LLMの出力を毎ステップで指定した形式に制限する技術である。
• JSON形式、特定の値の選択、正規表現への適合など、多様な制約を適用し、出力の確実性を向上させる。
• この技術は、softmax関数適用前のlogit値を操作し、ルール外のトークンの確率をゼロにすることで実現される。
• OllamaやTransformers（Outlinesライブラリ併用）など、スキーマ定義に基づいて容易に実装できるライブラリが存在する。
• 「出してはいけないトークン」を物理的に出力できなくするため、プロンプトで指示するよりも厳密な形式制御が可能になる。