7440億パラメーターの巨大AI「GLM-5.2」をメモリ25GBの普通のPCで動かす推論エンジン「Colibrì」が登場

7440億パラメーターの巨大AI「GLM-5.2」をメモリ25GBのPCで動作させる推論エンジン「Colibrì」が登場。SSDから必要データのみを読み出す仕組みで、大規模モデルの推論環境の民主化に貢献する。

• 7440億パラメーターを持つ巨大AI「GLM-5.2」をメモリ25GBのPCで動かす推論エンジン「Colibrì」が登場した。
• ColibrìはSSDから必要データのみを読み出す仕組みを採用している。
• これにより、大規模AIモデルの推論環境の敷居が大幅に下がるとされる。
• 高性能なハードウェアを持たない環境でも大規模AIを利用可能にする技術である。