Hugging Face, Mixture-of-Experts 일급 지원 추가
Hugging Face가 Mixture-of-Experts(MoE) 모델을 네이티브로 지원하도록 Transformers를 리팩토링했습니다. 이번 업데이트는 DeepSeek R1과 Mixtral 같은 희소 아키텍처의 가중치 로딩, 디바이스 배치, 분산 실행 문제를 다룹니다. 이를 통해 모델은 전체 용량을 유지하면서 추론 시 더 적은 활성 파라미터를 사용할 수 있어 컴퓨팅 효율과 속도가 크게 향상됩니다.
허깅 페이스(Hugging Face)는 변환기 라이브러리(Transformers library)를 refactoring하여 Mixture-of-Experts (MoE) 아키텍처를 일급 시민으로 지원한다. 업데이트는 무게 적재, 장치 배치 및 분산 실행을 포함한 핵심 파이프 라인을 재설계하여 이전에 밀집 네트워크를 위해 구축된 도구를 긴장시킨 희소 모델을 처리한다.
MoE는 토큰당 전문가의 하위 집합만 활성화하여 총 매개변수 수를 추론 속도와 분리한다. 예를 들어, 오픈 gpt-oss-20b 모델은 M3 울트라에서 총 21B 중 3.6B 매개변수만 활성화하여 초당 약 115 토큰으로 실행된다. 최근 높은 프로필 MoE 릴리스에는 DeepSeek R1, Qwen 3.5 및 MiniMax M2가 포함된다.