使用 LoRA/DoRA 針對機器人視訊生成微調 NVIDIA Cosmos Predict 2.5
nvidia 的 20 億參數世界模型 cosmos predict 2.5 現可使用 lora 和 dora 在單塊 80gb gpu 上進行微調，以生成合成機器人軌跡。
NVIDIA 發布了一份技術指南，介紹如何使用低秩適應（Low-Rank Adaptation, LORA）和權重分解低秩適應（Weight-Decomposed Low-Rank Adaptation, DORA）透過 Diffusers 庫對其Cosmos Predict 2.5 世界模型進行微調。透過凍結基礎的 VAE、文本編碼器和 DIT 權重，該技術顯著降低了內存消耗，使得在單個 80GB 的 GPU 上進行訓練成為可能，或在 8 個 H100 上實現更快的迭代。該模型使用修正流（Rectified Flow）進行噪聲預測訓練，從 92 個訓練視頻數據集中生成用於拾取和放置任務的合成視頻。這使得機器人示範數據的可擴展生成成為可能，減輕了收集現實世界物理軌跡的高成本和慢速度。