LLMアプリは「ハーネス」が9割 ── Perl/CGIの現役SaaSにAIエージェントを組み込んで学んだこと

Perl/CGI製SaaSにLLMエージェントを組み込んだ経験から、AIアプリ開発における「ハーネス」の重要性を説く。対話型アプリビルダー、アプリ内エージェント、アプリ改善アドバイザーの3機能を試作した。

• Perl/CGI製SaaSにLLMエージェントを組み込んだ結果、LLMアプリの品質はLLM本体よりも「ハーネス」と呼ばれる外側の仕組みで決まることが分かった。
• LLMは「続き予測マシン」であり、記憶や手足がなく、正直さも保証されないため、これらの欠落を補うハーネス設計が重要となる。
• 既存システムには「ほぼ外部API」として接続し、AIサービスとは独立させることで、リグレッションリスクを低減し、本体の安定性を保った。
• AIにはユーザー本人の権限のみを持たせ、公開API経由でのみデータアクセスを許可し、記憶はサーバーに保存しない設計を採用した。