Hugging Face、ポストトレーニング向けTRL v1.0をリリース
hugging faceがtrl v1.0をリリースしました。ppo、dpo、grpoを含む75以上の手法を実装したポストトレーニングライブラリです。このライブラリは月間300万ダウンロードを処理しており、急速に変化するAIパラダイムに対応するためのchaos-adaptive設計を採用しています。セマンティックバージョニングの下で安定版と実験的なコードを分離しています。
Hugging Faceは、トレーニング後の大規模言語モデルのためのライブラリであるTRL v1.0をリリースした。このライブラリは、PPOからDPOやRLVRスタイルのアプローチ（GRPOなど）への進化をカバーする75以上のメソッドを実装している。報酬モデルなどの厳格な抽象化を避けることで、AI分野の不安定性に対処している。これらの抽象化は、アルゴリズムによって必要性が変化するためである。TRLは現在、毎月300万回のダウンロードをサポートしており、UnslothやAxolotlなどの主要な下流プロジェクトのインフラストラクチャとして使用されている。