研究/論文初出 7/21 01:36
arXivにおけるAIライティングの測定方法と、その測定の限界
How we measured AI writing across arXiv, and where the measurement breaks
https://hacker-news.firebaseio.com/v02026/7/21
AI要約
arXiv上のAIによる文章生成を計測する方法と、その限界について詳細に分析している。AI生成コンテンツの増加に伴い、その検出や評価の精度向上が求められている。
AI要点
- arXiv論文の約3分の1が、改良された検出器で機械生成文として検出されました（2026年7月時点）。
- 改良された検出器は、ChatGPT以前の論文を0.4%の誤検出率で、 genuine human textを99.6%クリアします。
- 2021-2022年の論文では0.4%だった検出率が、ChatGPT登場後数ヶ月で上昇し、約32%に達しました。
- 検出は論文本文全体を対象としており、分野別の検出率も示されています。
- 検出手法とその限界について、正直な分析が示されています。
なぜ重要か
学術論文におけるAI生成コンテンツの割合増加は、研究の信頼性やオリジナリティに影響を与える可能性があり、その検出・管理手法の確立は学術界にとって重要な課題です。