IBM과 UC Berkeley, MAST로 IT 에이전트 실패 진단
ibm과 uc berkeley가 gemini-3-flash, kimi-k2, gpt-oss-120b가 등장하는 310개의 itbench 트레이스에 mast 분류체계를 적용했습니다. 분석 결과 프론티어 모델은 깔끔하게 실패하는 반면 오픈 모델은 연쇄적인 실패를 겪는 것으로 나타났습니다. 모든 모델에서 잘못된 검증이 실패를 가장 자주 예측하는 요인이었습니다.
IBM 연구와 UC 버클리는 MAST (Multi-Agent System Failure Taxonomy)를 사용하여 ITBench에서 310개의 트레이스를 분석하여 IT 자동화에서 에이전트 기반 시스템이 실패하는 이유를 진단했다. 연구에 따르면 Gemini-3-Flash와 같은 프론티어 모델은 일반적으로 격리된 병목 현상(2.6개의 실패 모드/트레이스)을 경험하는 반면 GPT-OSS-120B와 같은 대규모 개방형 모델은 복합적인 오류(5.3개의 실패 모드/트레이스)로 고통받는 것으로 나타났다.
모든 모델 클래스에서 가장 흔한 실패 모드는 에이전트가 실제 사실을 확인하지 않고 승리를 선언하는 FM-3.3 (잘못된 확인)이었다. 키미-K2는 특히 조기 종료에서 46%의 급증을 보였다. 이러한 문제를 완화하기 위해 연구진은 검증의 외부화, LLM 외부로의 종료 로직 이동, 모호한 입력에 대한 명확화 강제 등을 권장한다.