API評価、隔離評価、二重盲検評価：ベンチマークを誰から隠すかで信頼性は変わる

AIベンチマークの信頼性に関する考察です。問題の漏洩による評価の歪みと、モデル提供者の知的財産保護のジレンマについて論じています。2026年8月27日に公開された二重盲検評価は、GPU enclaveとリモートアクセスを活用し、この問題を解決しようとしています。これはAI研究における評価手法の進歩を示すものです。

• AIベンチマークの信頼性は、評価プロセスで機密情報（問題やモデル）を誰から隠すかに依存する。
• API評価、第三者による隔離評価、二重盲検評価は、それぞれ「誰が平文を見られるか」という点で異なる。
• 二重盲検評価では、GPU Enclaveとリモートアテステーション技術を用いて、モデルと問題を一時的な信頼実行環境（TEE）に投入する。
• これにより、評価者はモデル重みを、モデル提供者は問題を直接見ることなく、機密性を保ったまま評価を完了できる。
• この実証は、モデルの優劣ではなく、機密性を保ちながら評価システムを構築できるかの検証に焦点を当てている。