Embedding は採点に向かない ── 「偶数」と「奇数」に満点を出した話

自由記述回答の採点にEmbeddingを使用する際の限界を、「偶数」「奇数」の採点例で示す。コサイン類似度を「正しさの判定」に使うことの課題と、キーワード一致や正規表現など他の手法との組み合わせについて解説する。

• 自由記述の採点において、Embeddingのコサイン類似度を「正しさの判定」に使う手法は、「偶数」と「奇数」のように意味が反対でも話題が近い場合に誤採点しやすい。
• Embedding類似度が高い（例: 0.9以上）領域は、システムが最も自信を持つ部分であるが、同時に否定や対義語などの構造的な誤りを検出しにくいという欠点があった。
• Embedding類似度による採点では、自信と正しさが逆相関する可能性があり、学習アプリでは誤りを見逃すことの害が、誤って落とすことより大きい。
• 月7円のコスト削減のために誤採点のリスクを許容するのは割に合わず、また、実データ収集と閾値決定の順序に問題があったため、Embeddingによる採点手法は廃止された。