hugging face 發布 tokenizers v1，加速機器學習工作流程

hugging face 發布了 tokenizers v1，這是一個將文字轉換為模型可讀取之整數的程式庫。此次更新著重於效能，相較於 v0.23 有數十倍的提升。主要變更包括工作區拆分，使程式庫更加模組化，以及無配置（no-alloc）模型，減少記憶體配置。這些變更旨在防止機器學習工作流程中的 GPU 閒置。該程式庫支援多種分詞演算法，包括 byte pair encoding、wordpiece 和 unigram。