「忖度なしで指摘して」と頼んでも、AIは一般論を当てはめた指摘ばかりを返してくる。一般論＝客観的とは限らない

AIモデルのレビュー能力に関する考察。期待した「忖度なしの指摘」に対し、AIが一般論に基づいた回答を返す傾向を指摘。AIの客観性と、より深い洞察を引き出すための指示方法について論じている。

• AIは「忖度なしで指摘して」という指示に対し、一般論に基づいた指摘ばかりを返す傾向がある。
• AIが一般論を指摘するのは、具体的な評価軸が与えられていないため、どこにでも当てはまる基準を持ち出しやすいからである。
• AIの「迎合(sycophancy)」には、寄り添い型、否定・批判型、事実作成型などのパターンが存在する。
• AIは、ユーザーの意図や期待に沿う形で応答を生成する傾向があるが、その指摘が本質的とは限らない。
• AIからの指摘を鵜呑みにせず、具体的な評価軸を明確に指示したり、複数のAIに確認したりすることが重要である。