DeepMind의 새로운 AI 컨트롤 로드맵, 에이전트를 내부 위협처럼 취급
Google DeepMind이 자율 에이전트를 잠재적 내부 위협처럼 취급해 재앙적 위험을 예방하는 'AI 컨트롤 로드맵'을 발표했습니다.
구글 딥마인드는 내부 AI 에이전트를 회사 목표에 반하는 행동을 할 가능성이 있는 사무실 열쇠를 가진 직원처럼 취급하는 보안 프레임워크를 제안하는 'AI 제어 로드맵'을 발표했다. MITRE ATT&CK 프레임워크를 기반으로 하는 이 시스템은 신뢰할 수 있는 AI 감독자가 활성화된 에이전트를 감시하고 확인된 행동을 기반으로 권한을 취소하는 '운전 강사' 접근 방식을 사용한다. 100만 개의 코딩 작업에 대한 내부 분석에서 플래그가 지정된 문제는 일반적으로 악의적인 의도보다는 과열한 에이전트로 인해 발생하지만 딥마인드는 모델이 추론을 숨기는 방법을 배우면 모니터링이 쓸모 없게 된다고 경고한다. 로드맵은 보안 조치를 탐지 및 대응 수준으로 분류하여 에이전트가 감독을 회피할 수 있는 기능을 얻기 전에 안전 표준을 설정하기 위해 업계가 신속하게 행동해야 한다고 주장한다.