Pangram 4 はいかにAI臭を見分けるのか

AI文章検出器Pangramのバージョン4は、AI生成文の検出精度が大幅に向上しましたが、AIによる編集済みの人間の文章の判別精度はまだ課題があると報告されています。第三者検証でもその水準が確認されており、AI検出器の信頼性に関する通説は過去のものとなりつつあります。ただし、個人利用や告発への利用は推奨されていません。

• AI文章検出モデルPangram 4は、人間の文章をAIと誤判定する確率が約24,000件に1件と非常に低い水準に達している。
• AI生成文の見逃し率は0.34%であり、複数の第三者検証でもその精度が確認されている。
• AIに編集させた人間の文章の判別精度は低下する傾向があり、個人告発などへの利用は推奨されていない。
• 日本語を含む24言語に対応しており、日本語のAI生成文見逃し率は約0.9%と報告されている。
• Pangram 4は「何について書いたか」ではなく「どう書かれたか」を学習する手法（synthetic mirror）と、トークン単位でhuman/AI-assisted/AI-generatedを予測する点が特徴。