一生使える自分専用のAIベンチマークを作った — 差が出たのは「賢さ」ではなかった

公開ベンチマークではAIの実力差が分かりにくいため、自身で「賢さ」を測るためのAIベンチマークを作成した。落ちものパズルなどの課題でAIモデルを評価した結果、単純な「賢さ」だけでは差が出ない場合があることを示唆している。

• 公開されているAIベンチマークではモデル間の実力差が分かりにくいため、独自に一生使えるベンチマークを作成した。
• AIの能力差を測るには、難易度を上げた複雑なタスクを与え、AIを意図的に苦しめる必要がある。
• 高度なタスクでは、AIの生成物を客観的に採点するための自動テスト（採点器）を事前に作成する必要がある。
• 落ちものパズルゲームを題材に、本家の隠れた神ルール（壁蹴り、7-bagアルゴリズム、T-Spin判定）を実装させることでモデル間の差を検証した。
• 検証の結果、Gemini FlashやClaude Sonnetでも複雑な仕様をノーバグで実装できるが、一部の高度な挙動では差が出ることが示唆された。