LLM推論初出 8/26 11:17
4台のM5 Ultra Mac Studioで「データセンター級」メモリ帯域幅4.8TB/s 巨大LLMも高速でローカル実行可能に
https://rss.itmedia.co.jp/rss/2.0/topstory.xml2026/8/26
AI要約
EXO LabsがM5 Ultra搭載Mac Studio 4台で約4.8TB/sのメモリ帯域幅を実現し、巨大LLMのローカル実行を可能にすると発表しました。これは、大規模言語モデルの推論をローカル環境で高速に行うためのハードウェアおよびシステム構成に関する重要な進展です。
AI要点
- 新型Mac Studio 4台でメモリ帯域幅4.8TB/sを実現、巨大LLMもローカルでAPI並みの速度で実行可能。
- Apple M5 Ultraチップ搭載Mac Studio4台をThunderbolt 5で接続し、メモリ間直接転送技術RDMAを活用。
- 米EXO Labsが開発したOSS「exo」により、複数デバイスをAIクラスタとして連携させることが可能に。
- M5 Ultraチップは最大36コアCPU、80コアGPU、1.2TB/sのメモリ帯域幅を持つ。
- 巨大LLMのローカル実行速度向上により、プライバシー保護やコスト削減が期待される。
なぜ重要か
データセンター級のメモリ帯域幅をMac Studioクラスターで実現したことで、これまで高性能サーバーが必要だった大規模AIモデルのローカル実行が可能となり、AI開発・活用のハードルを劇的に下げる可能性があるためです。