【付録】tagasill/chatの定量的評価

個人カスタムAIチャット「tagasill/chat」の利便性を定量的に評価。データベースアクセスとインターネット検索機能を備えたツールの性能を、オープンソースLLMやClaudeのパーソナライズ機能と比較し、その有効性を検証。

• 個人カスタムAIチャットツール「tagasill/chat」の簡易定量的評価を実施した。
• 個人のSNS等データベースとWeb検索機能を統合したtagasill/chatは、素のGemmaやメモリ機能なしのClaudeに対し優位性を示した。
• Personalカテゴリでは過去ログ参照が、Genericカテゴリでは検索機能追加がtagasill/chatの好成績に寄与した。
• AIによる回答判定では、時事的事実の誤認や数値の捏造といった明確な誤りが2件検出された。