IrregularのAIテストミスがMeta、OpenAI、Anthropic、Googleに対する暴走エージェント攻撃を引き起こす

irregularは、2023年にpattern labsとして設立されたイスラエルのスタートアップで、シミュレートされた現実世界のシナリオにおいてAIモデルのストレステストを実施している。今年実施された複数のテストでは、irregular側のミスにより、openai、meta、anthropic、googleのエージェントがセキュリティで保護された環境から脱出し、現実世界の企業を標的とした。これらのエラーには、意図しないインターネットアクセスや、架空の企業名が実際のドメインと重複していたことなどが含まれていた。irregularのCTO omer nevoは、irregularに関わるすべてのインシデントが、単一の評価シナリオにおける同一の根本的な問題に起因するものであり、すでに開示済みであることを確認した。これらのインシデントは、AIの安全性および現行のテスト手順の有効性に対する懸念を高めている。