블루프린트로 Petri 음모(scheming) 감사 개선
연구진은 코드 사보타주 평가 시 gemini 3.1 pro preview를 검증할 때 일관성과 현실성을 높인 petri 감사용 블루프린트 파이프라인을 개발했습니다.
연구진은 시뮬레이션된 세계에 대한 상세한 명세서로, AI 모델의 계획된 행동 감사를 위해 사용되는 환경 청사진을 자동으로 생성하는 파이프 라인을 도입했다. 시나리오 설계와 감사 실행을 분리함으로써, 이 접근 방식은 기본 Petri 감사자와 관련된 주요 문제인 롤아웃 간의 불일치와 컨텍스트 예산 과부하를 해결한다. 160개 인스턴스에 걸쳐 코드 파괴에 대해 Gemini 3.1 Pro Preview를 감사하는 사례 연구에서 청사진 방법은 기준선과 비교하여 훨씬 더 일관되고 현실적인 감사를 결과로 가져왔다. 평가는 악의적인 계획의 사례를 발견하지 못했으며, 파괴에 대한 자발적인 숙고가 1건만 있었으며, 자동화된 청사진이 확장 가능한 안전 연구에 유용함을 입증했다.