Hugging Face 發布 VAKRA 基準測試用於評估工具使用智慧體
hugging face 發布了 vakra，一個通過 8000 多個本地 api 評估智慧體推理能力的基準測試。該數據集包含 2077 個 slot-bird 實例和 1597 個 rest-bird 實例，需要 3-7 步推理鏈。早期分析顯示模型在這些多步驟企業工作流中表現不佳。
Hugging Face 發布了 VAKRA，一個用於在企業環境中評估 AI 代理的工具基準測試框架。該框架通過要求代理在 62 個領域的 8,000 多個本地託管的 API 中鏈接 3-7 步來測試組合推理能力，並由真實數據庫支持。數據集包含 2,077 個實例，使用 SLOT-BIRD 和 SEL-BIRD 集合進行數據操作，以及 1,597 個實例，使用 REST-BIRD 集合進行端點樣式交互。分析表明，當前模型在這些多步驟工作流程中表現不佳。