TRL, 더 저렴한 비동기 RL을 위한 델타 가중치 동기화 구현
trl은 델타 가중치 동기화를 가능하게 하는 PR을 병합하여, 변경된 가중치만 업로드함으로써 qwen3-0.6b의 단계별 페이로드를 1.2 gb에서 20-35 mb로 줄였습니다.
허깅 페이스(Hugging Face)는 TRL에 대한 풀 리퀘스트(pull request)를 머지하여 sparse delta 가중치 동기화를 도입하였는데, 이는 async RL의 대역폭 병목 현상을 해결하기 위한 것이다. 최적화기 단계 사이에 98-99%의 bf16 가중치가 비트 단위로 동일한 것을 식별함으로써, 새로운 구현은 수정된 가중치만을 sparse safetensors 파일로 업로드한다. QWen3-0.6B에 대한 테스트 결과, 단계당 페이로드는 1.2GB에서 20-35MB로 감소하여, 트레이너와 추론 엔진이 공유 클러스터 또는 RDMA 없이 별도의 인프라에서 작동하는 분산 훈련을 가능하게 한다.