Claude Fable 5.1 が出たので測ってみた

QAエンジニアがClaude Fable 5.1を用いて、観点作成や多文書スケール、根拠の正確さに関する測定を行った結果を報告。モデルの実力を題材で測定する重要性と、具体的な測定方法について解説している。

• Claude Fable 5.1 の性能を、同一条件で3つの測定（観点作成、多文書スケール、判定役カナリア）で評価した。
• 動物園の入場システム仕様ではOpus 5水準に達し、割り勘アプリ仕様では一部の性能が後退した。
• 根拠の正確さ（9文書）は前回と同水準を維持したが、採点役の変更により数値が変動した。
• モデルの能力だけでなく、採点役の変更が評価結果に与える影響が大きいことが発見された。