Hugging Face, 장문 컨텍스트 훈련을 위한 Ulysses 시퀀스 병렬화 통합
Hugging Face가 Ulysses 시퀀스 병렬화를 Accelerate, Transformers, TRL에 통합했습니다. Snowflake AI Research가 개발한 이 방법은 어텐션 연산을 여러 GPU에 분산하여 백만 토큰 컨텍스트 훈련을 지원합니다. all-to-all 컬렉티브를 활용해 ring attention 대비 통신 오버헤드를 줄입니다.
허깅 페이스(Hugging Face)는 스노우플레이크 AI 리서치(Snowflake AI Research)가 개발한 울리시스 시퀀스 병렬 처리(Ulysses Sequence Parallelism)를 Accelerate, Transformers Trainer 및 TRL 라이브러리에 통합했다. 이 방법은 트랜스포머의 어텐션에서 시퀀스 및 어텐션 헤드를 GPU 전체에 분할하여 2차 확장을 해결한다. 이 방법은 통신 볼륨을 O(n*d) 대신 O(n*d/P)로 유지하여 긴 컨텍스트(32k+ 토큰)의 효율적인 학습을 가능하게 한다. 통합은 시퀀스 지역성을 헤드 지역성과 교환하기 위해 모든-모든(all-to-all) 집합 연산을 활용하여 직렬화된 점-대-점 전송보다 지연 시간이 더 낮도록 보장한다.