16個開源異步強化學習庫概覽
huggingface調查了16個解決gpu空閒問題的開源rl庫。同步rl訓練因數據生成耗時數小時，導致gpu 60%的時間處於空閒狀態。解決方案是通過rollout緩衝區和異步權重傳輸將推理和訓練分離。ray主導了編排層，nccl是權重同步的默認標準，而分布式moe支持正成為關鍵差異化因素。
Hugging Face 調查了 16 個開源強化學習庫，這些庫實現了非同步架構，以解決訓練後 GPU 的低效問題。分析發現，同步強化學習訓練經常導致訓練 GPU 空閒 60% 的時間，原因是長推理展期，特別是推理模型和智能體工作流程。研究對解決方案進行了七項分類，發現 Ray 在編排原始操作中佔主導地位，NCCL 是權重同步的標準，隨著模型規模的增加，對分散式專家混合 (MoE) 的支持正成為一個關鍵的區分因素。