Taalas 칩, 16k tps 달성 — 하지만 단일 모델에 고정
AMD는 LLM 가중치를 하드코딩해 초당 16k 토큰을 달성하는 Taalas를 인수했습니다. 이 트레이드오프는 극한의 속도를 위해 유연성을 희생하는 것으로, 모델 전용 하드웨어로의 전환을 시사합니다.
amd acquired toronto-based taalas, which hard-codes ai model architecture and parameters directly into silicon to maximize inference speed. a demo chip running llama 3.1-8b achieved over 16,000 tokens per second per user, significantly outpacing standard gpus. the technology will be integrated into amd's accelerator roadmap, offering a specialized solution alongside its general-purpose instinct cards. this move signals a potential diversification in hardware design, balancing general-purpose compute with model-specific accelerators.