Hugging Face、競争力のあるテキストから画像生成モデルを24時間・1500ドルで訓練
Hugging Faceは1500ドルの計算予算を使い、わずか24時間で競争力のあるテキストから画像生成の拡散モデルを訓練しました。「prx part 3」のスピードランでは、x-predictionを利用してVAEなしでピクセル空間で直接訓練を行い、512px解像度から開始しました。また、収束速度と視覚品質を高めるため、l1pipsとdinoベースの知覚損失も取り入れています。チームは訓練コードと実験フレームワークをGitHubでオープンソース化しました。
Hugging Faceは、合計1,500ドルの計算予算で、24時間のテキスト・ツー・イメージ学習スピードランを実演した。チームは、VAEの必要性を排除する画素空間での直接学習を可能にするx予測の定式化など、建築最適化を組み合わせた。このアプローチにより、チームは直接512pxで学習を開始し、パッチサイズ32で1024pxで微調整を行うことができた。彼らは、LPIPSとDINOv2ベースの損失といった補助的な知覚損失を、すべてのノイズレベルで適用して、最終的な画像の品質を向上させた。チームは、オープンソースライセンスの下、GitHubで学習コードとフレームワークをリリースした。