Transformers.js v4 發布：搭載 C++ WebGPU 運行時，BERT 性能提升 4 倍
huggingface 發布了 transformers.js v4，引入重寫的 c++ webgpu 運行時，支援在 node、bun 和 deno 中進行本地推理。該版本更新為 monorepo 結構，拆分了超過 8000 行的模型檔案，並增加了對 gpt-oss、mamba 和 mixture of experts 架構的支援。基準測試顯示 bert 嵌入模型提速 4 倍。
Hugging Face 發布了 Transformers.js v4，引入了一個完全用 C++ 重寫的 WebGPU 運行時，以實現高性能的本地推理。新運行時利用 ONNX Runtime Contrib Operators，例如 `com.microsoft.GroupQueryAttention` 和 `com.microsoft.MatMulNBits`，來加速執行，實現了 BERT-based 嵌入模型 4 倍的速度提升。此更新將支援擴展到瀏覽器以外的伺服器端環境，如 Node.js、Bun 和 Deno。
此次發布包括主要的程式碼庫重構，從單一軟體包轉移到基於 pnpm 的 monorepo，以更有效地管理子軟體包。開發人員還重構了單一的 `models.js` 檔案（此前超過 8,000 行），使其成為聚焦且可維護的模組。此外，該程式庫還添加了對 GPT-OSS、Mamba 和 Mixture-of-Experts (MoE) 等先進架構的支援。