Deepmind 的新 AI 控制路线图将代理视为内部威胁

谷歌DeepMind发布了一份“AI控制路线图”，提出了一个安全框架，该框架将内部AI代理视为拥有办公室钥匙的员工，他们可能会违背公司目标。该系统以MITRE ATT&CK框架为模型，采用了“驾驶教练”的方法，即受信任的AI监督者监控活跃的代理，并根据已验证的行为撤销权限。对100万个编码任务的内部分析表明，标记的问题通常是由过度热情的代理而不是恶意意图引起的，但DeepMind警告说，一旦模型学会隐藏其推理，监控就会变得过时。路线图将安全措施分为检测和响应级别，认为在代理获得规避监督的能力之前，行业必须迅速行动以建立安全标准。