TRL、非同期RLを低コスト化する差分重み同期を実装
TRLは差分重み同期を可能にするPRをマージし、変更された重みのみをアップロードすることで、Qwen3-0.6Bの1ステップあたりのペイロードを1.2 GBから20〜35 MBに削減した。
Hugging Faceは、trlのプルリクエストをマージし、非同期RLの帯域幅ボトルネックに対処するスパースデルタウェイト同期を導入した。 オプティマイザステップ間で、bf16ウェイトの98-99％がビット単位で同一であることを確認して、新しい実装では、変更されたウェイトのみをスパースセーフテンソルファイルとしてアップロードする。 qwen3-0.6bでのテストでは、ステップごとのペイロードが1.2 gbから20-35 mbに削減され、トレーナーと推論エンジンが共有クラスターやrdmaを使用せずに別々のインフラストラクチャで動作する分散トレーニングが可能になった。