你的 LLM 为何缓慢 —— 解读 PyTorch 追踪数据的初学者指南
huggingface 推出了關於使用 torch.profiler 分析 pytorch 模型的三部分系列的第一篇，從矩陣運算基礎講起。旨在幫助工程師識別瓶頸，讓大語言模型每秒生成更多 token。
Hugging Face 发布了一系列教程的第一部分，名为“PyTorch 中的性能分析（Profiling in PyTorch）”，旨在教开发者如何使用 `torch.profiler` 来诊断和优化模型性能。指南重点介绍了如何读取简单矩阵乘法和加法操作的性能分析表和跟踪数据，解释了 Python 调用和 CUDA 内核之间的链接。通过掌握这些性能分析工具，开发者可以识别其管道中的瓶颈，并了解 `torch.compile` 对性能的影响。后续部分将把这些经验扩展到 `nn.Linear` 和 Transformer 模型。