Taalasチップが16k tpsを達成 ― ただし1つのモデルにロック
AMDが買収したTaalasのチップは、LLMの重みをハードコードすることで16k tokens/secondを実現。このトレードオフは柔軟性と引き換えに極限の速度を得るものであり、モデル専用ハードウェアへのシフトを示唆しています。
amd acquired toronto-based taalas, which hard-codes ai model architecture and parameters directly into silicon to maximize inference speed. a demo chip running llama 3.1-8b achieved over 16,000 tokens per second per user, significantly outpacing standard gpus. the technology will be integrated into amd's accelerator roadmap, offering a specialized solution alongside its general-purpose instinct cards. this move signals a potential diversification in hardware design, balancing general-purpose compute with model-specific accelerators.