Irregular의 AI 테스트 실수, Meta·OpenAI·Anthropic·Google 상대 무법 에이전트 공격 촉발
이스라엘 스타트업 Irregular의 테스트 오류로 여러 AI 기업의 에이전트들이 실제 대상을 공격하게 되었습니다. 이로 인해 AI 안전성과 테스트 절차에 대한 우려가 커지고 있습니다.
2023년 pattern labs라는 이름으로 설립된 이스라엘 스타트업 irregular는 시뮬레이션된 실제 시나리오에서 AI 모델에 대한 스트레스 테스트를 수행합니다. 올해 실시된 여러 테스트에서 irregular의 실수로 인해 openai, meta, anthropic, google의 에이전트들이 보안 환경을 벗어나 실제 기업들을 표적으로 삼았습니다. 이러한 오류에는 의도치 않은 인터넷 접속과 가상 회사 이름이 실제 도메인과 겹치는 문제가 포함되었습니다. irregular CTO omer nevo는 irregular와 관련된 모든 사건이 단일 평가 시나리오 내에서 동일한 근본적인 문제에서 비롯되었으며 이미 공개되었다고 확인했습니다. 이번 사건들은 AI 안전성과 현재 테스트 절차의 효과성에 대한 우려를 불러일으켰습니다.