オープンソースの非同期RLライブラリ16本の調査
Hugging Faceが、GPUアイドル時間問題を解決するオープンソースRLライブラリ16本を調査。同期RL訓練では、データ生成に数時間かかるため、GPUが時間の60%アイドル状態になる。解決策は、ロールアウトバッファと非同期の重み転送を用いて推論と訓練を分離すること。オーケストレーションではRayが支配的で、重み同期にはNCCLがデフォルトであり、分散MoEサポートが重要な差別化要素として台頭しつつある。
Hugging Faceは、トレーニング後のGPU非効率性に対処するために非同期アーキテクチャを実装する16のオープンソース強化学習ライブラリを調査した。分析により、同期RLトレーニングは、特に推論モデルとエージェントのワークフローにおいて、長い推論ロールアウトにより、トレーニングGPUの60％をアイドル状態のままにすることが多いことが明らかになった。 この研究では、ソリューションを7つの軸に分類し、Rayがオーケストレーションプリミティブを支配し、NCCLが重量同期の標準であり、モデルスケールが増加するにつれて、分散Mixture-of-Experts（MoE）のサポートが重要な差別化要因になりつつあることを明らかにした。