「AIっぽい」レビューコメントは文体チェックでは見抜けなかった

AI生成文章検知ツールのパターンをコードレビューコメントの品質チェックに転用する可能性が検討されている。AIらしい文体だけでなく、根拠や検証、限界、判断主体といった不足情報を補う枠組みとしての活用が期待される。

• AI生成文章検知OSS「no-ai-slop」の文体パターンをコードレビューコメントの品質チェックに転用する検証を行いました。
• no-ai-slopは「AIっぽい文体」を検出するが、「内容の薄さ」は検出できないことが判明しました。
• 「判断材料（根拠・検証・限界・判断主体）の不足」をチェックするAlgomatic基準の方が、レビューコメントの質を評価する上で有効でした。
• 「LGTMです」のような自然だが中身のないコメントは、no-ai-slopでは検出されませんでした。
• コードレビューの品質向上には、文体だけでなく、判断材料の有無を評価する基準が重要であることが示唆されています。