ローカル8Bを84%に引き上げるForge、ツール呼び出しの信頼性は配信層で決まる

ローカルLLMの8Bモデルにおいて、ツール呼び出しの成功率が配信層の作りによって大きく変動する事例を紹介。モデルの性能だけでなく、それをどのように実行環境で提供するかがエージェントの信頼性向上に不可欠であることを示唆している。

• ローカル8Bモデルにおけるエージェントのツール呼び出し成功率が、配信層の作りで7%から83%に向上した。
• Forge (forge-guardrails) というPythonフレームワークが、この成功率を84%まで押し上げたと報告されている。
• モデルの賢さではなく、モデルを「配信する側」（サービング層）の設計が成功率に大きく影響することが示された。
• 壊れたツール呼び出しの検証・修復層を挟むことで、小さいモデルでもエージェントとして実用域に入る。
• フォーマットのズレやコンテキスト管理といった問題は、大きいモデルでも一定確率で発生することが示唆されている。