Hugging Face、ローカルAIを高速化する207個のWebGPUカーネルをリリース
Hugging FaceがローカルAI向けに207個のWebGPUカーネルを含む@huggingface/kernelsを公開し、ブラウザでのより高速な推論を可能にしました。これはAIアプリケーションを構築する開発者に影響を与えます。
hugging faceは、hugging face hubから最適化されたwebgpuカーネルをロードして実行するためのミニマルなライブラリ「@huggingface/kernels」を発表しました。このライブラリには、207個のカーネルからなる初期コレクションが含まれており、それぞれが完全なバージョン管理されたパッケージとして公開されています。これらのカーネルは、さまざまな機械学習アーキテクチャやワークロードで使用される演算をカバーしています。今回のリリースには、ブラウザ内で動作するgpuベンチマークおよびテストスイート「fleet」も含まれています。これにより、コミュニティが実際のデバイスからパフォーマンスと正確性のエビデンスを提供できるようになり、カーネルのバリアントや最適化の意思決定の改善につながります。これらのカーネルはapache-2.0ライセンスで提供されており、より高速なブラウザ推論に利用できます。