DiScoFormer, 단일 트랜스포머로 밀도와 스코어 추정을 통합하다
huggingface가 재학습 없이 다양한 분포 전반에서 밀도와 스코어를 모두 추정하는 트랜스포머 discoformer를 공개했습니다. 이는 고전적 방법들을 고차원으로 일반화하며, 생성 모델링과 과학 시뮬레이션을 위한 실시간(on-the-fly) 적응을 가능하게 합니다.
Hugging Face는 디스코포머(DiscoFormer)에 대한 연구를 발표했다. 디스코포머는 재훈련 없이 데이터 분포의 밀도와 점수를 동시에 추정하도록 설계된 트랜스포머이다. 이 모델은 커널 밀도 추정의 학습 가능한 일반화로서 크로스 어텐션을 사용하여, 고전적인 방법이 실패하는 고차원에서 정확도를 유지한다. 이 모델은 두 개의 헤드를 갖춘 공유 백본을 특징으로 하며, 라벨이 없는 일관성 손실을 활용하여 실측 데이터 없이 분포 외 데이터에 즉시 적응할 수 있다. 이러한 접근 방식은 유연한 신경망과 해석 가능한 고전적인 방법 사이의 격차를 메우며, 확산 기반 생성 및 플라즈마 모델링과 같은 과학적 시뮬레이션에 응용할 수 있다.