Hugging Face 發布 207 個 WebGPU 核心,加速本地 AI
Hugging Face 推出 @huggingface/kernels,內含 207 個用於本地 AI 的 WebGPU 核心,讓瀏覽器推論速度更快。這將影響開發 AI 應用程式的開發者。
hugging face 推出了 @huggingface/kernels,這是一個用於從 hugging face hub 載入並執行最佳化 webgpu 核心的極簡函式庫。該函式庫隨附初始收錄的 207 個核心,每個核心都以完整且具版本編號的套件形式發布。這些核心涵蓋了各種機器學習架構和工作負載中使用的運算。此次發布還包括 fleet,一個瀏覽器內的 gpu 基準測試與測試套件。這使社群能夠貢獻來自真實裝置的效能與正確性證據,協助改進核心變體和最佳化決策。這些核心採用 apache-2.0 授權,可用於實現更快速的瀏覽器推論。