AIラボはPelicanmaxxingしているのか？

AI研究室における「ペリカンマキシマム（Pelicanmaxxing）」という現象について論じる。これは、AIモデルの性能向上ではなく、AI開発における「過剰な最適化」や「無意味な改良」に焦点を当てる。

• Simon Willison氏が考案した「ペリカンが自転車に乗るSVG生成」がLLMの非公式ベンチマークとして有名になった。
• AIラボがこのベンチマークで高評価を得るためにモデルを最適化（Pelicanmaxxing）している可能性が議論されている。
• 本記事では7つの最新モデルでSVG生成能力をテストし、その結果を分析している。
• 1008個のSVGを生成し、LLMジャッジを用いて評価を行った。
• 動物と乗り物の組み合わせを変えて、モデルの汎用的な生成能力を検証した。