世界初の二重盲検AI評価のパイロット実施

世界初のダブルブラインドAI評価を試験運用した事例。 AIモデルの性能を客観的に評価するための新しい手法を提案し、その有効性を検証している。 これにより、AI開発におけるバイアスを排除し、より公平で信頼性の高い評価基準の確立を目指す。

• Googleは、AIモデルの評価におけるベンチマーク汚染問題を解決するため、世界初の二重盲検評価をパイロット実施した。
• 暗号学的に保護された「箱」内で外部評価を実施し、モデルがテスト問題を見ることを防ぐ。
• Gemini Flash Liteモデルを、シンガポールAI安全研究所などと協力して評価する。
• これにより、AIモデルの真の能力と安全性を、より信頼性の高い方法で評価することが可能になる。
• 従来の手法では、評価結果がモデルの事前の学習によって偏る可能性があった。