IBMとUC Berkeley、MASTを使用してITエージェントの失敗を診断
ibmとuc berkeleyは、gemini-3-flash、kimi-k2、gpt-oss-120bを含む310件のitbenchトレースにmast分類法を適用した。分析の結果、フロンティアモデルはクリーンに失敗する一方、オープンモデルは連鎖的な失敗に陥ることが明らかになった。すべてのモデルにおいて、誤った検証が最も頻繁に失敗を予測していた。
IBM ResearchとUC Berkeleyは、MAST（Multi-Agent System Failure Taxonomy）を使用してITBenchからの310のトレースを分析し、ITオートメーションでエージェントシステムが失敗する原因を診断した。研究では、Gemini-3-Flashのようなフロンティアモデルは通常、孤立したボトルネック（2.6の障害モード/トレース）に遭遇するのに対し、GPT-OSS-120Bのような大規模なオープンモデルは、複合的なエラー（5.3の障害モード/トレース）に悩まされることがわかった。
全てのモデルクラスにわたって最も一般的な障害モードはFM-3.3（不正解の検証）であり、エージェントは真実を確認せずに勝利を宣言する。Kimi-K2は、特に早期終了の46％の増加を示した。これらの問題を軽減するために、研究者らは、検証を外部化し、LLMの外部で終了ロジックを移動し、曖昧な入力に対する明確化を強制することを推奨している。