16个开源异步强化学习库概览
huggingface調查了16個解決gpu空閒問題的開源rl庫。同步rl訓練因數據生成耗時數小時，導致gpu 60%的時間處於空閒狀態。解決方案是通過rollout緩衝區和異步權重傳輸將推理和訓練分離。ray主導了編排層，nccl是權重同步的默認標準，而分布式moe支持正成為關鍵差異化因素。
Hugging Face 调查了 16 个开源强化学习库，这些库实现了异步架构，以解决训练后 GPU 低效的问题。分析发现，同步强化学习训练通常会导致训练 GPU 空闲 60% 的时间，这是由于推理 rollout 时间过长，特别是在推理模型和智能体工作流中。研究对解决方案进行了七方面的分类，发现 Ray 在编排原语中占主导地位，NCCL 是权重同步的标准，随着模型规模的增加，对分布式专家混合（MoE）的支持正在成为一个关键的区分因素。