OpenAI、Jalapeñoで遅延を最大3.6倍削減、エージェントを遅くするボトルネックを標的

OpenAIは、自社開発の推論チップ「Jalapeño」が、LLMにおいて既存システムより最大3.6倍の低遅延と高電力効率を実現したと発表。これにより、AIインフラのコスト削減とアクセス拡大が期待される。

• OpenAIが開発したカスタム推論チップ「Jalapeño」は、AIエージェントの応答遅延を最大3.6倍削減できる。
• このチップは、AIエージェントの処理速度を低下させるボトルネックとなっている部分を標的としている。
• Jalapeñoは、複数の大規模言語モデル（LLM）でのテストにおいて、競合システムよりも高速な応答と優れた電力効率を示した。
• これにより、AIエージェントの応答性や効率性の向上が期待される。