디퓨전 모델, 속도는 GPT를 앞서지만 IQ까지 따라잡을 수 있을까?
bytedance의 8b illada 디퓨전 모델이 qwen2.5 base 벤치마크와 대등한 성적을 거두며, 비자기회귀(non-autoregressive) 아키텍처도 GPT 스타일 트랜스포머와 경쟁할 수 있음을 입증했다.
ByteDance와 인민대학교의 연구진은 12조 토큰으로 부터 처음부터 훈련된 8B 매개변수 확산 언어 모델인 Illada를 도입했습니다. 표준 벤치마크에서 기본 모델은 평균 점수 63.9를 달성하여 63.3의 autoregressive Qwen2.5 7B를 약간 앞섰습니다. 그러나 지시어 조정이후 Illada는 67.1을 기록했으며, 수학과 코드의 차이로 인해 Qwen2.5 instruct의 77.1에 크게 뒤처졌습니다. 이 모델은 표준 토큰별 생성 방식의 대안으로 이미지 확산 모델과 유사한 병렬 양방향 처리에 의존합니다.