ローカルLLMにシステム設計面接問題を解かせたら何点取れるのか - 4モデルを同じ基準で採点してみた

ローカルLLMのシステム設計面接問題への対応能力を、18GBメモリのMacで動作する4つのモデルを用いて検証。コーディング能力の続編として、設計段階での議論能力を評価するため、3問ずつ出題し、事前に定めた採点基準で採点した結果を報告する。

• ローカルLLM（18GBメモリMacBook）でシステム設計面接問題を解かせた結果、Gemma 4 E4Bが最高得点（98点/150点）を記録した。
• コーディング能力で優位だったQwen2.5 Coder 14Bは、設計面接では最下位圏となり、コードと設計能力は別であることが示唆された。
• Web検索併用条件では、一部モデルでスコアが伸びたものの、全体的な改善効果は限定的で、モデルによっては悪化するケースもあった。
• システム設計における採点基準として、「壊してはいけない条件」「構成要素の選定」「主要フローの具体化」「異常系の想定」「スケールの議論」の5項目が設定された。
• ローカルLLMはコーディング補助には有用だが、複雑なシステム設計議論においては、まだ人間や大規模クラウドモデルに及ばない可能性がある。