AI採点を信じて記事を作り込んでいたが、90記事のデータで検証したら全部無意味だった

AI採点システムで記事の品質を向上させようとしたが、90記事のデータで検証した結果、5つの対策項目はすべて誤差の範囲であり、AI採点の効果は限定的であることが判明しました。AIが「改善点はありません」としか言わなくなる「天井効果」も確認されました。

• ZennのAIレビュー（LAPRASスコア）と自作採点器のスコアを90記事で検証した結果、AI採点の攻略法は無意味だったと結論づけられています。
• LAPRASスコアは4.0前後でほとんど変動せず、ZennAIは最近「改善点はありません」としか返さなくなり、どちらも記事の質を正確に反映していない可能性が示唆されました。
• 相関分析の結果、いいね数とLAPRASスコアの間には弱い順位相関（0.28）しかなく、スコアを狙って記事を調整しても効果は薄いと判断されました。
• RMSE（誤差）の比較では、自作採点器やLLMルーブリックよりも、単純に平均値を答える方が誤差が小さい場合があり、AI採点の信頼性に疑問符が付きました。
• AI採点器の「天井効果」や、特定の記法（前提条件、アコーディオン）を満たすことでスコアが上がる現象が、記事の本当の質とは無関係にスコアに影響している可能性が指摘されています。