QLLM、トランスフォーマーもマンバも使わない、O(1)推論の新アーキテクチャがついにモデルとして登場

TransformerやMambaに依存しない、O(1)推論を実現する新しいアーキテクチャを持つQLLMモデルが公開されたという発表。推論効率の大幅な改善が期待され、LLMの計算コスト削減やリアルタイム応用への道を開く可能性を秘めています。新しいアーキテクチャの登場は注目に値します。

• QLLMは、TransformerやMambaに依存しない新しいアーキテクチャを持つ。
• このアーキテクチャはO(1)推論を実現すると説明されている。
• 推論効率の大幅な向上が期待され、LLMの計算コスト削減に繋がる可能性がある。
• リアルタイム応用への道を開く技術となる可能性が指摘されている。