NvidiaのGroq 3 LPX、Cerebras比4倍の速度を主張——ただし64個のチップが必要

NVIDIAは、AIエージェントのトークン生成を最適化するためにVera Rubinプラットフォーム上に構築されたインタラクティブ推論アクセラレータであるGroq 3 LPXの量産を開始した。人工分析ベンチマークは、Gemma 4 31Bで3,400トークン/秒を達成しているが、この数値は、少なくとも64個のLPUXチップ（それぞれ500MBのメモリ）を搭載したラックにモデルを分割する必要がある。Cerebrasが1〜2チップで882 T/sを達成していることとの比較は、ハードウェアスケールとCerebrasの新しいCS-4世代の除外により、物議を醸している。物議を醸している数学にもかかわらず、Nebiusは、高度なエージェントのレイテンシニーズに対応するために、トークンファクトリークラウドサービスを介してチップを提供する予定である。