Spyreを使ってLLMを動かしてみる

IBM Spyre for Power向けに提供されるRed Hat AI Inference（RHAII）を利用してLLMを動かす方法を解説します。vLLMなどの技術を用いて、IBM Power環境でのLLM推論を可能にします。

• IBM Spyreアクセラレーター搭載のIBM PowerシステムでLLMを動作させる方法が紹介されている。
• Red Hat AI Inference (RHAII) を使用し、PodmanコンテナでvLLMベースの推論サーバーを簡単に試せる。
• Kubernetesなどのオーケストレーター不要で、`podman run`コマンドで実行可能である。
• SpyreカードのPCIe IDを確認し、コンテナ起動時に環境変数として指定する必要がある。
• `--device=/dev/vfio`や`-v`オプションを用いて、Spyreデバイスとモデルディレクトリをコンテナにマウントする。