Hugging Face 发布 VAKRA 基准测试用于评估工具使用智能体
hugging face 发布了 vakra，一个通过 8000 多个本地 api 评估智能体推理能力的基准测试。该数据集包含 2077 个 slot-bird 实例和 1597 个 rest-bird 实例，需要 3-7 步推理链。早期分析显示模型在这些多步骤企业工作流中表现不佳。
Hugging Face 发布了 VAKRA，这是一个用于在企业环境中评估 AI 代理的工具基准测试框架。该框架通过要求代理在 62 个领域中跨越 8,000 多个本地托管的 API（需要 3-7 步）来测试组合推理，这些 API 由真实数据库支持。该数据集包含 2,077 个实例，使用 SLOT-BIRD 和 SEL-BIRD 集合进行数据操作，以及 1,597 个实例，使用 REST-BIRD 集合进行端点样式交互。分析表明，当前的模型在这些多步骤工作流中表现不佳。