Hugging Face 用 1500 美元在 24 小時內訓練出競品級文生圖模型
hugging face 僅用 24 小時和 1500 美元的算力預算，訓練了一個具備競爭力的文生圖擴散模型。這次“prx part 3”速通利用 x-prediction 技術直接在像素空間訓練，無需 vae，並直接從 512px 解析度開始。他們還引入了 l1pips 和基於 dino 的感知損失以加速收斂並提升視覺質量。該團隊已在 github 上開源了訓練代碼和實驗框架。
Hugging Face展示了一項耗時24小時的文字轉圖像訓練加速實驗，總計算預算為1,500美元。團隊結合了架構最佳化，包括使用x預測公式直接在像素空間中訓練，消除了對VAE（變分自編碼器）的需求。這種方法使他們能夠直接以512px開始訓練，並在1024px上使用區塊大小32進行微調。他們整合了輔助感知損失——具體來說是LPIPS和基於DINOv2的損失——應用於所有噪聲等級，以提高最終圖像品質。團隊在GitHub上以開放原始碼許可證發布了訓練程式碼和框架。