開発者、8ドルのチップで言語モデルを実行し、IoT向けクラウドAIモデルを静かに破る

開発者が8ドルのチップ上で言語モデルを動作させることに成功。これにより、クラウドやAPIコスト、インターネット接続なしでのオフラインAI推論が可能になりました。IoTデバイス分野での新たな可能性を開く画期的な成果です。

• 開発者が8ドルのESP32-S3マイクロコントローラー上で2890万パラメータの言語モデルを実行することに成功しました。
• この技術はGemmaのPer-Layer Embeddingsを活用し、オフラインでのAI推論を可能にします。
• IoTデバイス向けのクラウドAIモデルに代わる、低コストでローカル実行可能なAIソリューションの可能性を示唆しています。