Claude Fable 5, 새로운 복잡한 업무 벤치마크에서 3%의 과제만 해결하며 선두
현실적인 수주 단위 업무에서 AI의 어려움을 드러내는 새로운 벤치마크에서 claude fable 5가 3%의 해결률로 선두를 차지해, 에이전트가 아직 자율적 지식 노무를 수행할 준비가 되지 않았음을 시사합니다.
인공지능 분석에서는 수천 개의 단편화된 파일을 사용하여 현실적인 다주간의 지식 작업을 시뮬레이션하도록 설계된 벤치마크인 AA-브리프케이스(AA-Briefcase)를 도입했다. 테스트된 모델 중에서 Claude Fable 5가 가장 높은 루브릭 합격률을 달성했지만, 모든 기준을 완전히 충족한 작업은 3%에 불과했으며, 34%의 작업에서는 어떤 모델도 50% 이상의 점수를 내지 못했다. 결과는 최고의 모델이 분명한 요구 사항을 처리하지만 여러 소스에서 세부 정보를 합성하는 데 실패한다는 것을 강조한다. 이는 자율 에이전트의 중요한 실패 모드이다. 또한 비용은 작업당 0.04달러에서 31달러 이상으로 극적으로 변동하여 현재 AI 배포에 대한 비즈니스 사례를 복잡하게 만든다.