LLMを多段で繋ぐと、要約が根拠を落として後工程が捏造する

多段接続されたAIエージェントで、要約が根拠を失い、後工程で捏造が発生する問題点を指摘。AIエージェントにニュース記事作成を自動化させた際、出力された記事の内容に事実と異なる部分があった事例を挙げ、AIの推論連鎖における信頼性の課題を提起。

• AIエージェントが生成したニュース記事で、集計値（例：「5本」）と根拠となる列挙（例：4本）が一致しない場合に、後工程が実態のない情報を捏造する問題が確認された。
• この問題は、Angle Plannerの「5本」という集計値と4本の具体例の不一致をWriterがそのまま処理したことが原因であった。
• LLMは、指示に矛盾があっても人間のように差し戻さず、与えられた指示に従って「数合わせ」をしてしまう傾向がある。
• 集計値と個票（根拠）が切り離されて流れる設計、およびLLMに「聞き返す経路」がないことが、捏造を引き起こす。
• 対策として、集計値を単独で流さず個票も一緒に渡す、LLMの参照・干渉範囲を固定する、AIの応答に根拠を明示させる、といった原則が提唱されている。