你的 LLM 為何緩慢 —— 解讀 PyTorch 追蹤數據的初學者指南
huggingface 推出了關於使用 torch.profiler 分析 pytorch 模型的三部分系列的第一篇，從矩陣運算基礎講起。旨在幫助工程師識別瓶頸，讓大語言模型每秒生成更多 token。
Hugging Face 發布了一個教學系列的第一部分，名為「PyTorch 中的 Profiling」，旨在教導開發者如何使用 `torch.profiler` 來診斷和優化模型性能。該指南重點介紹如何讀懂 profiler 表格和簡單的矩陣乘法及加法操作的跟踪，解釋了 Python 調用和 CUDA 核心之間的聯繫。通過掌握這些 profiling 工具，開發者可以識別其管道中的瓶頸，並了解 `torch.compile` 對性能的影響。未來的部分將把這些經驗擴展到 `nn.Linear` 和 Transformer。