OpenAI 的 Astra 模型因不透明遞歸引發 AI 安全擔憂
openai 的新 astra 模型使用不透明遞歸,一種可能使鏈式思維更難監控的推理技術,令 ai 安全專家擔憂. 這影響模型的透明度和可問責性。
OpenAI 的新款 Astra 模型採用了一種名為不透明遞歸(Opaque Recurrence)的推理技術,也稱為遞歸深度(Recurrent Depth),使它能夠以較非線性的方法處理查詢。 這項技術引起了包括 Redwood CEO Buck Shlegeris 和長期 AI 安全倡導者 Zvi Mowshowitz 在內的 AI 安全專家的擔憂,因為它可能使模型的思考鏈(chain of thought)更難監控。 雖然 Astra 對該技術的使用似乎是有限的,但專家們擔心潛在的風險以及需要法律來防止 AI 實驗室之間的「競爭到底」(race to the bottom)。 OpenAI 強調了其對可讀思考鏈的承諾,並宣佈了對廣泛的思考鏈監控系統的計劃。