Transformers.js v4登場、C++ WebGPUランタイムとBERT 4倍の高速化
huggingfaceはtransformers.js v4をリリースした。書き直されたc++ webgpuランタイムにより、node、bun、denoでのローカル推論が可能になった。このアップデートではmonorepo構造の導入、8,000行のmodelsファイルのモジュール分割に加え、gpt-oss、mamba、mixture of expertsアーキテクチャのサポートが追加された。ベンチマークではbertベースの埋め込みモデルで4倍の高速化が示されている。
Hugging Faceは、Transformers.js v4をリリースし、ハイパフォーマンスのローカル推論を可能にするためにC++で完全に書き直されたWebGPUランタイムを導入した。新しいランタイムは、`com.microsoft.GroupQueryAttention`や`com.microsoft.MatMulNBits`などのONNX Runtime Contrib Operatorsを活用して実行を加速し、BERTベースの埋め込みモデルで4倍の高速化を実現した。このアップデートは、ブラウザを越えてNode.js、Bun、Denoなどのサーバーサイド環境へのサポートを拡張する。
リリースには、主要なコードベースの再構築が含まれ、単一のパッケージからpnpmベースのモノレポに移行し、サブパッケージをより効果的に管理できるようになった。開発者は、以前は8,000行以上だった巨大な`models.js`ファイルを、焦点を絞った保守可能なモジュールにリファクタリングした。さらに、ライブラリは、GPT-OSS、Mamba、Mixture-of-Experts（MoE）などの高度なアーキテクチャのサポートを追加した。