英特爾:擴展智能體不只看token——關鍵是密度
英特爾對數千個企業ai工作負載的基準測試顯示,對於生產部署而言,衡量智能體密度(每vcpu智能體數)比原始推理速度更重要。
英特爾使用擴展版本的 Terminal-Bench(一款開源的性能測試工具)分析了數千個智能代理 AI 工作負載實驗,結果表明企業的成功取決於將代理視為系統問題而非僅僅是推理問題。研究確立了代理密度(每個虛擬 CPU 的代理數量)作為容量規劃的主要指標,取代了簡單的代理計數,並強調監控任務延遲而非平均 CPU 利用率。這些發現表明,企業只能通過實施嚴格的可觀察性和內存管理來可靠地擴展代理,而不僅僅是評估底層大型語言模型(LLM)。為了管理和優化成本及性能,運營商應默認採用橫向擴展架構,同時保留縱向擴展以滿足特定的計算密集型需求。