MESAの住民の生態系 ── レイキャスト・DINOv2・CLIPで「街を見る目」を作る

都市シミュレーション「MESA」におけるエージェントの視覚・判断メカニズムを解説。レイキャスト、DINOv2、CLIPといった技術を用い、エージェントが街をどのように認識し、行動を決定しているかを実装レベルで説明する。

• MESAシミュレーションでは、エージェントの「視覚」にレイキャスト技術を使用し、大量並列処理による高速化を実現している。
• 一人称視点画像の生成にレイキャストを用いるのは、three.jsカメラよりも並列処理能力が桁違いに高いためである。
• 学習と配信で見た目が異なるレンダラを使用するが、方策が正しく機能するかは多重テストで確認されている。
• DINOv2はエージェントの視覚特徴を384次元に要約し、CLIPは実世界の検証に拡張利用される。
• レイキャストはPyTorchテンソル演算として実装され、4096体のエージェントをGPU上で一括処理可能となっている。