AI 代理效率飙升:API 优化令 token 消耗下降 80%
hugging face 引入了“工具专用基准”来衡量代理的效率而非仅关注准确率,发现“代理优化”的 api 将 token 消耗减少了 1.8 倍至 6 倍,证明了软件设计直接影响 ai 计算成本。
Hugging Face 开源了一个用于「特定工具基准测试」的测试框架,以评估编码代理(coding agents)基于过程效率(token 使用量和步骤数)完成任务的情况,而不仅仅是成功率。通过 Hugging Face Jobs 在相同的硬件上测试不同版本的 Transformers 库的开放模型发现,优化的命令行接口和独立的示例将推理成本降低了 30% 至 83%。这确认了由糟糕的文档或笨拙的 API 引起的「代理摩擦」(agentic friction)迫使模型进入更长时间、更昂贵的调试循环,在软件用户体验和 AI 推理支出之间建立了直接的经济联系。该研究意味着,未来软件库必须为机器使用而设计,这可能会改变维护者优先考虑文档和 API 简洁性(simplicity)的方式。