フロンティアモデル、エージェント型エンタープライズITタスクの50%に失敗
claude opus 4.7が47%で首位——59のkubernetesインシデントトラブルシューティングタスクからなる新ベンチマーク「itbench-aa sre」で、すべてのモデルが50%未満のスコアだった。
Artificial AnalysisとIBMは、Kubernetesインシデントの根本原因診断を必要とする59のサイト信頼性エンジニアリングタスクでフロンティアモデルを評価するベンチマークである**itbench-aa SRE**を導入した。 **Claude Opus 4.7**が47%でトップに立ち、**GPT-5.5**が46%で続いた。一方、オープンウェイトモデルでは**GLM-5.1**が40%でトップだった。結果は、より長い推論軌跡が正確性を保証するものではないことを示しており、偽陽性に対してペナルティを受けたモデルは、より簡潔なエージェントよりも性能が低下することが多かった。