Hugging Face、tokenizers v1を強化しMLワークフローを高速化

hugging faceが、テキストをモデルが読み取れる整数に変換するライブラリ「tokenizers v1」をリリースしました。今回のアップデートはパフォーマンスに重点を置いており、v0.23から数十倍の改善を実現しています。主な変更点には、ライブラリのモジュール性を高めるワークスペースの分割と、メモリ割り当てを削減するno-allocモデルが含まれます。これらの変更は、機械学習ワークフローにおいてGPUがアイドル状態になるのを防ぐことを目的としています。このライブラリは、byte pair encoding、wordpiece、unigramなど、さまざまなトークン化アルゴリズムをサポートしています。