openai astra 模型引發安全憂慮,因其設計不透明
openai 即將發布的 astra 模型採用更不透明的技術,引發研究人員對其安全性的憂慮。
OpenAI 即將發布其有史以來最強大的 AI 模型 **Astra**,此前因加強安全協議而推遲了數周。**Astra** 使用一種更不透明的技術,稱為遞歸深度(recurrent depth)或環形變換器(looped transformer),該技術在產生輸出之前會在內部層循環信息,使其更難監控。包括 Redwood Research 首席科學家 **Ryan Greenblatt** 在內的 研究人員警告說,這可能會導致安全災難和 AI 安全的「競爭到底」。OpenAI 限制了 **Astra** 中環形變換器技術的使用,以便繼續監控模型的推理。