LLM이 느린 이유 — PyTorch 트레이스 읽기 초보자 가이드
HuggingFace가 torch.profiler를 활용한 PyTorch 모델 프로파일링 3부 시리즈를 matmul 기초로 시작해 공개했습니다. 이 시리즈는 엔지니어가 병목 지점을 파악하고 LLM에서 초당 더 많은 토큰을 뽑아낼 수 있도록 돕는 것을 목표로 합니다.
## Hugging Face, PyTorch 프로파일링 튜토리얼 시리즈 1부 출시
Hugging Face는 'PyTorch 프로파일링(Profiling in PyTorch)'이라는 튜토리얼 시리즈의 1부를 출시했다. 이 시리즈는 개발자들이 `torch.profiler`를 사용하여 모델 성능을 진단하고 최적화하는 방법을 가르치기 위해 설계되었다. 이 가이드는 간단한 행렬 곱셈 및 덧셈 연산에 대한 프로파일러 테이블 및 트레이스를 읽는 방법에 초점을 맞추고 있으며, Python 호출과 CUDA 커널 간의 연결을 설명한다. 이러한 프로파일링 도구를 익히면 개발자는 파이프라인의 병목 현상을 식별하고 `torch.compile`의 성능 영향을 이해할 수 있다. 향후 파트에서는 이러한 교훈을 `nn.Linear` 및 트랜스포머로 확장할 계획이다.