谷歌Deepmind將視頻生成器轉變為通用世界模型

谷歌DeepMind研究人員發布了GenCeption，一個系統，該系統重新利用文本到視頻生成器來解決計算機視覺中的密集預測任務，而無需針對每個特定任務進行架構更改。通過將深度圖或分割掩碼等輸出轉換為標準的RGB圖像，並使用文本提示來切換任務，該模型在單個快速前向傳遞中處理輸入。基準測試結果顯示，GenCeption與已建立的專業模型（如Segment Anything）相匹配，儘管它只在一個包含7,500個合成視頻的數據集上進行了訓練。研究結果表明，現實視頻生成所需的物理和空間理解為視覺中的通用世界模型提供了基礎。