Kog, 표준 GPU에서 3,000 TPS 달성 — 대형 모델로도 확장될 수 있을까?
Kog의 소프트웨어 최적화가 표준 데이터센터 GPU에서 초당 3,000 토큰을 기록하며, 느린 추론에 시달리는 개발자들에게 30배의 속도 향상을 제공합니다.
Kog는 수정되지 않은 NVIDIA H200 및 AMD MI300X GPU에서 Laneformer 2B 모델 및 맞춤형 커널 최적화를 사용하여 초당 3,000 토큰(tps)의 추론 속도를 시연하는 기술 미리보기를 출시했습니다. 초기 데모에서는 표준 하드웨어의 잠재력을 입증하기 위해 매개변수가 20억 개인 작은 모델에 초점을 맞추었지만 이 회사는 비싼 Claude 코드 워크플로에 상당한 속도 향상을 약속하며 200개의 비즈니스 리드를 생성했습니다. 이 스타트업은 이제 고객이 더 작은 모델을 미세 조정하지 않지만 더 큰 모델로 초점을 전환하고 있지만 GPU 세대당 과도한 엔지니어링 시간을 소비하지 않고 낮은 수준의 어셈블리 접근 방식이 확장될 수 있는지에 대한 의구심을 가지고 있습니다.