DeepSeek-V4論文に隠されたリトライに関する教訓

DeepSeek-V4の論文によると、LLMリクエストの中断後にリトライすることは、数学的に誤りであると警告しています。これは、リトライが長さの偏りを導入するためです。この現象は、10万件の詩で再現されました。

• LLMのベンチマーク実行において、失敗したリクエストの再試行が必ずしも適切ではない。
• 再試行は、特に長い応答を生成する場合に「長さバイアス」を導入する可能性がある。
• DeepSeek-V4論文では、この問題点を指摘し、実験で検証している。