【OnecaratEditor Core 制作秘話①】極小サイズのローカルLLMの回答精度をあげた話

ローカルLLMの回答精度を向上させるための制作秘話です。画面画像から次の選択肢をAIに判断させる試みにおいて、オンライン通信の遅さを克服するためにローカルAIを活用した経験が語られています。

• 極小サイズのローカルLLM（LFM2.5 1.2B-JP-Q4_K_M）の回答精度向上策が紹介されています。
• ローカルLLMは言語能力は十分でも知識量に限界があり、ハルシネーションを起こしやすいことが指摘されています。
• 問い合わせ内容を分類し、深さの分だけLLMへの問い合わせを繰り返す「DeepThinkingEngine」を開発しました。
• OnecaratEditor CoreのAIチャット機能で、ローカルLLMの性能を最大限に引き出すための工夫が施されています。
• CPU・メモリ8GBでも動作するローカルLLMの可能性と、その活用方法が示されています。