Hugging Face 推出存儲桶功能
hugging face 推出了存儲桶，這是一種由 xet 支持的類 s3 物件存儲解決方案。該功能提供可變存儲、ml 工件的去重以及 aws 和 gcp 的預熱功能。用戶可以通過 hf cli 或 python 管理存儲桶。
Hugging Face 發布了 Storage Buckets，一種基於 Xet 後端的 mutable 物件儲存解決方案。與基於 Git 的儲存庫不同，Buckets 處理無版本資料以滿足 ML 工作負載的需求，例如訓練檢查點和代理追蹤，利用基於區塊的重複資料刪除以降低頻寬和儲存成本。企業計費基於刪除重複資料後的佔用空間，此功能包括在 AWS 和 GCP 上進行資料本地性的預熱。