Hugging Face 整合 Ulysses 序列並行技術以支援長上下文訓練
hugging face 將 ulysses 序列並行技術整合到 accelerate、transformers 和 trl 中。該技術由 snowflake ai research 開發，透過在多個 gpu 上分配注意力計算，支援百萬級令牌上下文的訓練。與 ring attention 相比，它利用 all-to-all 集合通訊降低了通訊開銷。
Hugging Face 將由 Snowflake AI Research 開發的 Ulysses Sequence Parallelism 整合到其 Accelerate、Transformers Trainer 和 TRL 庫中。此方法通過在 GPU 上分割序列和注意力頭來解決變換器中注意力的二次擴展問題。它通過保持通信量在 O(n*d/P) 而不是 Ring Attention 的 O(n*d)，實現了對長上下文（32k+ token）的有效訓練。該整合利用全到全的集體操作來交換序列局部性以實現頭局部性，確保比序列化點到點傳輸具有更低的延遲。