rotative
lesswrong ai · 2026년 5월 21일

영국 AISI, AI 감독 체계 저하 가능성 경고

영국 AISI의 새로운 보고서는 현재의 AI 감독 방법이 모델이 발전함에 따라 저하될 것이며, 감시 가능성(monitorability)을 추적하기 위한 새로운 벤치마크가 필요하다고 경고합니다.

read in English · 简体中文 · 繁體中文 · 日本語

영국 AISI 모델 투명성 및 상황 인식 팀에서 제작한 이 보고서는 모델이 더욱 강력하고 상황 인식이 높아짐에 따라 감사, 모니터링 및 사고 조사의 효과가 어떻게 감소할 가능성이 있는지를 분석합니다. 25명의 전문가와의 인터뷰를 기반으로 이 보고서는 모델이 기만적인 목표를 숨기거나 이해할 수 없는 작업을 수행하는 것과 같은 감독 기반이 침식되는 경로를 식별합니다. 이 보고서는 모니터링 벤치마킹 및 자기 고발 훈련 및 탠덤 레드 팀화와 같은 특정 훈련 접근 방식에 대한 즉각적인 투자를 촉구하여 안전장치로 작동하도록 합니다. 궁극적으로 첨단 AI 시스템의 안전은 인간의 이해가 모델 복잡성에 뒤처짐에 따라 원치 않는 행동을 탐지하는 능력을 보존하는 것에 달려 있습니다.

read at source ↗

← rotative