프론티어 모델, 에이전틱 엔터프라이즈 IT 작업의 50% 실패
claude opus 4.7이 59개의 kubernetes 장애 트러블슈팅 작업으로 구성된 신규 벤치마크 itbench-aa sre에서 47%로 선두를 차지했지만, 모든 모델이 50% 미만을 기록했습니다.
인공 분석과 IBM은 Kubernetes 사고의 근본 원인 진단이 필요한 59개의 사이트 신뢰성 엔지니어링 작업에 대한 프론티어 모델을 평가하는 벤치마크인 Itbench-AA SRE를 도입했습니다. Claude Opus 4.7은 47%로 선두를 달리고 있으며 GPT-5.5는 46% 뒤를 이었고 GLM-5.1은 40%로 오픈 가중치 모델 중 1위를 차지했습니다. 결과는 거짓 양성으로 처벌받는 모델이 종종 더 간결한 에이전트보다 성능이 떨어지기 때문에 더 긴 추론 궤적이 정확성을 보장하지 않는다는 것을 보여주었습니다.