Google Deepmind、動画生成モデルを汎用世界モデルへと変える
Google DeepmindのGenCeptionは、動画モデルを深度推定とセグメンテーションに転用し、90%少ないデータで専門モデルに匹敵する性能を達成。動画生成モデルこそがビジョンに必要な世界モデルであることを示唆しています。
Google DeepMindの研究者らは、GenCeptionと呼ばれるシステムをリリースした。これは、テキストからビデオを生成するモデルを、各特定のタスクに合わせてアーキテクチャを変更することなく、コンピュータビジョンにおける高密度予測タスクを解決するために転用するものである。深度マップやセグメンテーション・マスクなどの出力を標準のRGB画像に変換し、テキストプロンプトを使用してタスクを切り替えることで、モデルは単一の高速フォワードパスで入力を処理する。ベンチマークの結果は、GenCeptionは、7,500の合成ビデオのデータセットでのみトレーニングを行ったにもかかわらず、Segment Anythingのような確立された特殊モデルと一致することを示している。この発見は、現実的なビデオ生成に必要な物理的および空間的理解が、ビジョンにおける汎用的な世界モデルの基礎を提供することを示唆している。