hugging face 推出 tokenizers v1，加速机器学习工作流

hugging face 发布了 tokenizers v1，这是一个用于将文本转换为模型可读取的整数的库。此次更新专注于性能，相比 v0.23 提升了数十倍。主要变化包括工作区拆分，使该库更加模块化，以及无分配（no-alloc）模式，减少了内存分配。这些变化旨在防止机器学习工作流中 gpu 闲置。该库支持多种分词算法，包括字节对编码（byte pair encoding）、wordpiece 和 unigram。