AI 해석가능성 스티어링 기법, 생각보다 효과 낮아
새로운 연구에서 언어 모델의 선형 스티어링이 빠르게 한계에 도달한다는 것을 보여주는 공식을 도출하며, 통상적인 해석가능성 가정에 도전장을 던졌습니다.
새로운 논문이 AI 해석 가능성에서 '조정(steering)'의 효과성에 도전한다. 여기서 내부 모델 방향을 조작하여 출력을 변경한다. '이것은 음식에 관한 것이다'와 같은 방향은 인과적이고 예측 가능한 것처럼 보이지만, 연구는 방향을 밀고 개념을 강화하는 사이의 선형 관계가 극도로 제한되어 있음을 입증한다. 저자는 고차 보정이 제한된 반경을 정의하기 위해 폐쇄형 테일러 공식을 유도한다. 경험적 테스트는 이 반경이 선형 조정이 실패하는 시점을 정확하게 예측함을 확인하며, 현재 개입 방법이 가정된 것보다 덜 정확함을 시사한다.