오픈소스 비동기(async) RL 라이브러리 16개 조사
huggingface는 gpu 유휴 시간 문제를 해결하는 16개의 오픈소스 rl 라이브러리를 조사했다. 동기식 rl 훈련은 데이터 생성에 수 시간이 걸리기 때문에 gpu가 시간의 60%를 유휴 상태로 유지하게 된다. 해결책은 rollout 버퍼와 비동기 가중치 전송을 사용해 추론과 훈련을 분리하는 것이다. ray가 오케스트레이션을 주도하고, nccl이 가중치 동기화의 기본값이며, 분산 moe 지원이 핵심 차별화 요소로 떠오르고 있다.
허깅 페이스(Hugging Face)는 GPU 비효율을 훈련 후 해결하기 위해 비동기 아키텍처를 구현하는 16개의 오픈 소스 강화 학습 라이브러리를 조사했다. 분석 결과, 동기식 RL 훈련은 종종 추론 롤아웃이 길어서 특히 추론 모델 및 에이전트 워크플로에서 훈련 GPU를 60% 시간 동안 유휴 상태로 둔다는 것이 밝혀졌다. 이 연구는 7개의 축에 걸쳐 솔루션을 분류하여 Ray가 오케스트레이션 프리미티브를 지배하고, NCCL이 가중치 동기화의 표준이며, 모델 규모가 증가함에 따라 분산 Mixture-of-Experts(MoE) 지원이 중요한 차별화 요소로 떠오르고 있음을 밝혔다.