LIBERO-PLUS標準ベンチマークでπ0 / π0.5 を再現してみた

LIBERO-PlusベンチマークでVLAモデルのロバスト性を評価。1万タスクを2枚のGPUで実行し、公表値と異なる結果の原因究明と、視点・照明変化への耐性を検証した記録。

• VLAモデルのロバスト性を、7種類の摂動を加えたベンチマーク「LIBERO-Plus」で評価した個人プロジェクトの記録である。
• 1万タスクを2枚のGPUで1日で回すための実行設計として、GPU使用率向上とレジューム前提の設計を採用した。
• 自律オーケストレータを構築し、 pi0完走からpi0.5への自動差し替え、クラッシュ時の自動復旧、stall検知による再起動を実現した。
• 論文とのクロスチェックで、使用するタスク構成が論文と完全に一致することを確認し、摂動の目視確認も行った。
• モデルの挙動確認のために、フレームをレンダリング済みの状態で動画保存を行うことで、ヘッドレス環境でも確認を可能にした。