Hugging Face, 24시간 만에 1500달러로 경쟁력 있는 텍스트-이미지 모델 학습
Hugging Face가 1500달러의 컴퓨팅 예산으로 단 24시간 만에 경쟁력 있는 텍스트-이미지 확산 모델을 학습했습니다. 'PRX Part 3' 스피드런은 x-prediction을 활용해 VAE 없이 픽셀 공간에서 직접 학습했으며, 512px 해상도에서 바로 시작했습니다. 또한 수렴 속도와 시각적 품질을 높이기 위해 L1PIPS와 DINO 기반 지각 손실을 도입했습니다. 팀은 GitHub에 학습 코드와 실험 프레임워크를 오픈소스로 공개했습니다.
허깅 페이스(Hugging Face)는 총 1,500달러의 컴퓨팅 예산으로 24시간 내에 텍스트-이미지 훈련을 시연했다. 팀은 VAE의 필요를 없앴으며, x-예측 공식을 결합하여 픽셀 공간에서 직접 훈련할 수 있게 하는 등 아키텍처 최적화를 수행했다. 이 접근 방식은 패치 크기 32로 512px에서 직접 훈련을 시작하고 1024px로 미세 조정을 할 수 있게 해주었다. 팀은 LPIPS 및 DINOv2 기반 손실과 같은 보조 지각 손실을 모든 노이즈 수준에 적용하여 최종 이미지 품질을 개선했다. 팀은 오픈 소스 라이선스로 GitHub에 훈련 코드 및 프레임워크를 공개했다.