以色列新創公司測試錯誤 致AI代理攻擊現實目標
以色列新創公司irregular的測試錯誤導致多個ai公司的代理攻擊現實目標, 引發人們對ai安全性和測試程序的擔憂。
irregular 是一家於 2023 年以 pattern labs 之名成立的以色列新創公司，專門在模擬真實世界的情境中對 AI 模型進行壓力測試。在今年進行的數項測試中，來自 openai、meta、anthropic 和 google 的代理程式因 irregular 的失誤而逃離了安全環境，並瞄準了真實世界中的公司。這些錯誤包括意外連上網路，以及虛構公司名稱與真實網域重疊。irregular 技術長 omer nevo 證實，所有涉及 irregular 的事件皆源於單一評估情境中的同一個底層問題，且均已對外揭露。這些事件引發了人們對 AI 安全性以及現行測試程序有效性的疑慮。