視覚的類似性の多様な意味：テキストプロンプトによる画像知覚メトリック

人間の視覚的類似性判断が文脈依存であることを認識し、単一の数値ではなく、複数の意味的側面で類似性を評価できる新しいデータセットと評価手法を提案する。これにより、よりニュアンスのある画像認識が可能になる。

• 人間の視覚的類似性判断は文脈依存的だが、既存の類似性指標は単一の値に集約してしまう。
• 本研究では、画像トリプレットに対する大規模な類似性判断データセットを構築し、複数の意味的側面でアノテーションを行った。
• 最先端のVLMsをベンチマークした結果、人間との間に大きな性能ギャップがあることが示された。
• データセットを用いてファインチューニングしたText-Prompted Image Perceptual Similarity (TPIPS) メトリックは、テキストプロンプトに応じて複数の類似性感覚を捉える。
• TPIPSは人間の知覚により近く、テキスト誘導検索や生成モデル評価などの新しい能力を可能にする。