OpenAIがカスタム推論チップ「Jalapeño」のベンチマーク結果を公開、高スループットと低レイテンシを単一アーキテクチャで両立

OpenAIがBroadcomと共同開発したカスタム推論チップ「Jalapeño」のベンチマーク結果を公開しました。高スループットと低レイテンシを単一アーキテクチャで両立させています。

• OpenAIがカスタム推論チップ「Jalapeño」のベンチマーク結果を公開した。
• Jalapeñoチップは、高スループットと低レイテンシを単一アーキテクチャで両立させている。
• このチップは、AIモデルの推論処理を高速化し、より効率的なAIサービスの提供に貢献するとみられる。