ロボティクス向けにNVIDIA Cosmos Predict 2.5をLoRA/DoRAでファインチューニング

NVIDIAは、Diffusersライブラリを介して、低ランク適応（LORA）と重み分解低ランク適応（DORA）を使用したCosmos Predict 2.5ワールドモデルの微調整に関する技術ガイドを公開した。ベースVAE、テキストエンコーダ、およびDITの重みをフリーズすることで、この手法はメモリ消費を大幅に削減し、単一の80GB GPUでのトレーニングや、8つのH100でのより高速な反復を可能にする。モデルは、ノイズ予測のための整流フローを使用してトレーニングされ、92のトレーニングビデオのデータセットからのピックアンドプレースタスクのための合成ビデオを生成する。これにより、ロボットのデモンストレーション用データのスケーラブルな生成が可能になり、実際の物理的軌跡の収集に伴う高コストと低速を緩和できる。