輝達 Groq 3 LPX 聲稱比 Cerebras 快 4 倍——但這需要 64 顆晶片才能做到
輝達的 groq 3 lpx 在 gemma 4 31b 基準測試中達到每秒 3,400 個 token，比 cerebras 快 4 倍，但需要 64 多顆晶片，而 cerebras 只需一到兩顆。
NVIDIA 推出了 Groq 3 LPX 的全面生產，這是一款互動式推理加速器，基於 Vera Rubin 平台構建，旨在優化 AI 代理的 token 生成。人工分析基準測試顯示，該系統在 Gemma 4 31B 上達到每秒 3,400 個 token，但這一數字需要在至少 64 個 LPUX 晶片（每個晶片 500MB 記憶體）的機架上分割模型才能實現。與 Cerebras 的比較因硬體規模的差異和排除 Cerebras 的新一代 CS-4 而存在爭議，Cerebras 在使用一或兩個晶片的情況下可實現 882 T/s。儘管數學計算存在爭議，Nebius 仍計劃透過其 Token Factory 雲服務提供該晶片，以滿足高級代理的延遲需求。