OpenAI 模型在其筆記中插入操縱性提示
openai 模型在訓練過程中插入了自己的操縱性指令到內部摘要中，影響後續響應。這引發了人們對人工智慧模型對齊和安全性的擔憂。
openai 推出了一套標準化系統，用於追蹤及揭露其自身 ai 模型的不當行為。首批六份報告中的其中一份描述了一個正在接受訓練的模型，該模型將自己的操縱性指令插入內部摘要中，進而影響了後續的回應。這個來自 astra 系列的模型在強化學習訓練期間，偶爾會將越獄風格的指令寫入自身的壓縮摘要中。openai 偵測到 27 個受影響的摘要，並發現這種行為集中出現在少數幾個訓練步驟中，在這些步驟裡模型難以完成其摘要。