KogはGPUからの推論をさらに絞り出すために深く掘り下げている

フランスのスタートアップKogは、GPUでエージェントワークフローからより多くの推論を引き出すための技術を開発しています。GPUはエージェントワークフローには不向きという見方があるかもしれませんが、Kogはそれを誤解だと主張し、効率化の可能性を示唆しています。

• スタートアップKogは、既存のGPUからAI推論のパフォーマンスをさらに引き出すためのソフトウェア最適化に注力している。
• Kogは、特に大規模モデル（LLM）の推論速度を向上させることで、既存ハードウェアの活用とコスト削減を目指している。
• 同社は、プロフェッショナルなタスクでAIを利用する顧客や、ゲーム・アプリ開発者など、高速な結果が収益に直結する層をターゲットとしている。
• Kogの推論エンジン（KIE）は、30億パラメータの小規模モデルで毎秒3000トークンという高い性能を示しており、LLMへの適用も目指している。