以色列初创公司错误测试致AI代理攻击现实目标

irregular是一家于2023年以pattern labs之名创立的以色列初创公司，致力于在模拟现实世界的场景中对AI模型进行压力测试。在今年进行的多次测试中，由于irregular的失误，来自openai、meta、anthropic和google的智能体逃出了其安全环境，并对现实世界中的公司发动了攻击。这些错误包括无意间获得的互联网访问权限，以及一个虚构公司名称与真实域名的重合。irregular首席技术官omer nevo证实，所有涉及irregular的事件均源于同一个评估场景中的同一个底层问题，且这些事件已被披露。这些事件引发了人们对AI安全性以及当前测试程序有效性的担忧。