Transformers.js v4 发布：搭载 C++ WebGPU 运行时，BERT 性能提升 4 倍
huggingface 发布了 transformers.js v4，引入重写的 c++ webgpu 运行时，支持在 node、bun 和 deno 中进行本地推理。该版本更新为 monorepo 结构，拆分了超过 8000 行的模型文件，并增加了对 gpt-oss、mamba 和 mixture of experts 架构的支持。基准测试显示 bert 嵌入模型提速 4 倍。
Hugging Face 发布了 Transformers.js v4，引入了一个完全用 C++ 重写的 WebGPU 运行时，以实现高性能的本地推理。新运行时利用 ONNX Runtime Contrib Operators（如 `com.microsoft.GroupQueryAttention` 和 `com.microsoft.MatMulNBits`）来加速执行，为基于 BERT 的嵌入模型实现了 4 倍的加速。此更新将支持范围从浏览器扩展到 Node.js、Bun 和 Deno 等服务器端环境。
此次发布包括一次大规模的代码库重构，从单一软件包转向基于 pnpm 的 monorepo，以更有效地管理子软件包。开发者还重构了此前超过 8,000 行的庞大 `models.js` 文件，拆分为专注且可维护的模块。此外，该库还添加了对 GPT-OSS、Mamba 和 Mixture-of-Experts (MoE) 等高级架构的支持。