アイデア：CPUでは、デコード速度はトークンあたりのアクティブなパラメータ数に依存し、総数には依存しない。私の目標は、ミドルレンジPC（GPUなし）で10Bモデルを100tok/sで実行することです。

CPUのみで10Bモデルをトークンあたり100生成（100tok/s）で実行するという目標について述べています。これは、GPUに依存しないローカル環境でのLLM実行性能の向上を目指す試みです。

• CPUのみ（GPUなし）で10Bモデルを100トークン/秒の速度で実行する目標が提示されています。
• デコード速度はトークンあたりのアクティブパラメータ数に依存し、総パラメータ数には依存しないという仮説が述べられています。
• ミドルレンジPCでのLLM実行性能向上を目指す、GPU非依存のアプローチが提案されています。
• ローカル環境でのLLM推論速度向上のための、CPU最適化に関する考察が含まれています。