LFM2.5 230M、カスタムWebGPUカーネル使用でブラウザ内で1,400トークン/秒で実行

LFM2.5 230Mモデルが、カスタムWebGPUカーネルを使用してブラウザ上で1400トークン/秒の速度で動作することが報告されています。Webブラウザ上でのローカルLLM実行の可能性を示しています。

• LFM2.5 230Mモデルが、カスタムWebGPUカーネルを用いてブラウザ上で1400トークン/秒で実行された。
• Webブラウザ環境でローカルLLMを高速に実行できる可能性が示された。
• 高性能なLLMを、特別なソフトウェアインストールなしにWeb経由で利用できる未来を示唆している。