Hugging Face, 도구 사용 에이전트용 VAKRA 벤치마크 공개
hugging face가 8,000개 이상의 로컬 호스팅 api에 대한 ai 에이전트 추론을 평가하는 벤치마크인 vakra를 공개했습니다. 이 데이터셋에는 3-7단계 체인이 필요한 2,077개의 slot-bird 인스턴스와 1,597개의 rest-bird 인스턴스가 포함되어 있습니다. 초기 분석에 따르면 모델들은 이러한 멀티스텝 엔터프라이즈 워크플로에서 저조한 성능을 보입니다.
허깅 페이스(Hugging Face)는 기업 환경에서 AI 에이전트를 평가하기 위한 도구 기반 벤치마크인 VAKRA를 출시했다. 이 프레임워크는 에이전트가 62개 도메인에 걸쳐 8,000개 이상의 로컬 호스트 API에 대해 3-7 단계를 연결하도록 요구함으로써 구성적 추론을 테스트한다. 이 데이터세트는 데이터 조작을 위해 SLOT-BIRD 및 SEL-BIRD 컬렉션을 사용한 2,077개 인스턴스와 엔드포인트 스타일 상호 작용을 위해 REST-BIRD 컬렉션을 사용한 1,597개 인스턴스로 구성된다. 분석에 따르면 현재 모델은 이러한 다단계 워크플로우에서 성능이 좋지 않다.