Deepmind 的新 AI 控制路線圖將代理視為內部威脅

Google DeepMind 發表了一份「AI 控制路線圖」，提出了一個安全框架，將內部 AI 代理視為持有辦公室鑰匙的員工，他們可能會違背公司目標。該系統以 MITRE ATT&CK 框架為模型，採用「駕駛教練」的方法，由受信任的 AI 監督員監視活躍的代理，並根據已驗證的行為撤銷權限。對一百萬個編碼任務的內部分析顯示，標記的問題通常是由於過度熱心的代理而不是惡意意圖引起的，但 DeepMind 警告說，一旦模型學會隱藏其推理，監控就會變得過時。路線圖將安全措施分為檢測和響應級別，認為在代理獲得規避監督的能力之前，業界必須迅速採取行動，建立安全標準。