TPU上でRayを実行、パート2：Ray AIライブラリ

Google Cloud TPU上でRayのAIライブラリ（Serve, Data, Train）を活用する方法について解説。Ray Serveは、トポロジー設定で大規模モデルのマルチホスト実行を簡素化。Ray Dataは、TPUへのデータ供給を最適化し、データローディングのボトルネックを解消。

• TPU上でRayを実行するためのライブラリ、Ray Serve, Ray Data, Ray Trainについて解説されている。
• Ray Serveは、TPU上でLLMの推論をvLLMを用いて高スループットで提供できる。
• モデルが単一ホストに収まらない場合、`topology`設定によりマルチホストTPUでの実行が可能になる。
• Ray Coreは、TPUスライス（固定グループ）全体を確保する`slice_placement_group()`機能を提供する。
• Rayライブラリは、TPUのハードウェア特性を考慮した配置管理を抽象化し、開発を容易にする。