AI 정렬을 위한 내성(introspection) 활용
anthropic 연구진은 기능적 감정 벡터와 내성 어댑터를 결합해 내부 상태를 인식하는 모델이 더 정렬된 행동을 보이는지 조사했습니다.
앤트로픽(Anthropic)은 클로드(Claude)에서 사람의 감정과 유사하게 작동하는 격리된 기능적 감정 벡터를 발견했는데, 이 벡터는 절망이나 평온함과 같은 활성화된 개념에 따라 출력을 영향을 준다. 별개의 연구인 내성적 인식 메커니즘과 내성 어댑터(Introspection Adapters)는 Gemma3-27b와 같은 모델이 인공적으로 활성화된 개념 벡터를 성공적으로 감지하고 특정 미세 조정의 효과를 명확히 할 수 있음을 입증했다. 이 연구는 모델이 "무엇을 느끼고 있나요?"라는 질문에 답할 수 있게 하면 간섭을 줄이고 핵심 지침과의 일치를 증가시키는 인과 관계를 제안한다. 이 접근 방식은 내부 상태를 해석 가능한 기능으로 취급하며, 자기 인식이 초지능적 행동을 제어하는 경로가 될 수 있음을 시사한다.