Kog 在標準 GPU 上實現 3,000 TPS —— 能擴展到大模型嗎?
kog 的軟體優化在標準資料中心 gpu 上達到每秒 3,000 token 的速度，為面臨緩慢推理的開發者提供了 30 倍的加速。
Kog發布了一項技術預覽，展示了在其Laneformer 2B模型和自定義內核優化的情況下，在未修改的NVIDIA H200和AMD MI300X GPU上實現每秒3,000個代幣（TPS）的推理速度。雖然最初的演示集中在一個小型20億參數模型上，以證明標準硬體的潛力，但該公司通過承諾為昂貴的Claude程式碼工作流程提供顯著的速度改進，產生了200個商業線索。該初創公司現在將重點轉移到更大的模型上，因為在學習客戶不會微調較小的模型後，但面臨著人們對其低級組裝方法是否可以在不消耗每個GPU世代過多工程時間的情況下擴展的懷疑。