Hugging Face、ファーストクラスのMixture-of-Expertsサポートを追加
Hugging Faceはtransformersをリファクタリングし、Mixture-of-Experts（MoE）モデルをネイティブにサポートするようになりました。この更新は、DeepSeek R1やMixtralなどのスパースアーキテクチャにおける重みの読み込み、デバイス配置、分散実行に対応します。これにより、モデルは総容量を維持しながら推論時にアクティブなパラメータを少なくでき、計算効率と速度が大幅に向上します。
Hugging Faceは、Transformersライブラリをリファクタリングし、Mixture-of-Experts（MoE）アーキテクチャをファーストクラス市民としてサポートした。アップデートにより、コアパイプライン（ウェイトのロード、デバイスの配置、分散実行を含む）がリデザインされ、以前は密なネットワーク用に構築されたツールに負担をかけていたスパースモデルを処理できるようになった。
MoEは、トークンごとに一部のエキスパートのみをアクティブ化することで、推論速度から合計パラメータ数を切り離す。たとえば、オープンなgpt-oss-20bモデルは、21Bの合計のうち3.6Bパラメータのみをアクティブ化することで、M3 Ultraで約115トークン/秒で動作する。最近の注目すべきMoEリリースには、DeepSeek R1、Qwen 3.5、MiniMax M2がある。