TRL 实现增量权重同步以降低异步 RL 成本
trl 合併了一個實現增量權重同步的 pr，通過僅上傳變動權重，將 qwen3-0.6b 每步數據傳輸量從 1.2 gb 降至 20-35 mb。
Hugging Face 合并了一个关于 TRL 的拉取请求，引入了稀疏增量权重同步，解决了异步强化学习的带宽瓶颈。通过识别出 98-99% 的 bf16 权重在优化器步骤之间保持位相同，新实现仅将修改后的权重作为稀疏 SafeTensors 文件上传。在 Qwen3-0.6B 上的测试将每步有效载荷从 1.2 GB 减少到 20-35 MB，从而实现了分离式训练，训练器和推理引擎在没有共享集群或 RDMA 的情况下在单独的基础设施上运行。