Hugging Face, tokenizers v1 강화로 더 빠른 ML 워크플로우 구현

hugging face가 모델이 읽을 수 있는 정수로 텍스트를 변환하는 라이브러리인 tokenizers v1을 출시했습니다. 이번 업데이트는 성능에 중점을 두었으며, v0.23 대비 수십 배의 성능 향상을 이루었습니다. 주요 변경 사항으로는 라이브러리를 더욱 모듈화하는 workspace 분할과 메모리 할당을 줄이는 no-alloc 모델이 포함됩니다. 이러한 변경 사항은 머신러닝 워크플로우에서 gpu 유휴 상태를 방지하는 것을 목표로 합니다. 이 라이브러리는 byte pair encoding, wordpiece, unigram을 포함한 다양한 토크나이제이션 알고리즘을 지원합니다.