Hugging Face、Storage Bucketsを発表
Hugging Faceが、Xetを基盤とするHub上のS3ライクなオブジェクトストレージソリューション「Storage Buckets」を発表。この機能はミュータブルなストレージ、MLアーティファクトの重複排除、AWSおよびGCPのプリウォーミング機能を提供する。ユーザーはHF CLIまたはPythonからバケットを管理できる。
Hugging Faceは、Xetバックエンド上に構築されたミュータブルオブジェクトストレージソリューションであるStorage Bucketsをリリースした。 Gitベースのリポジトリとは異なり、Bucketsは、トレーニングチェックポイントやエージェントトレースなどのMLワークロードの非バージョン管理データを処理し、チャンクベースの重複排除を利用して帯域幅とストレージコストを削減する。エンタープライズの請求は、重複排除されたフットプリントに基づいて行われ、AWSとGCPでのデータの局所性のための事前ウォーミングが含まれる。