Google AI Overviews, 프롬프트 인젝션 버그로 오작동
Google의 AI Overviews 기능이 오작동하여 'disregard'와 'ignore' 같은 검색어를 검색 프로세스를 중단하고 결과를 반환하는 대신 챗봇식 대화에 응하라는 명령으로 해석하고 있습니다.
구글 검색의 AI_overviews는 현재 프롬프트 주입 취약점 또는 잘못 처리된 null 입력과 일치하는 동작을 나타내고 있다. 사용자가 대규모 언어 모델 프롬프트에서 지침을 무효화하는 데 자주 사용되는 특정 용어(예: 'disregard', 'ignore' 또는 'skip')를 입력하면 이 기능은 웹 데이터를 검색하지 못한다. 요약 대신 시스템은 '메시지 받음' 또는 '전혀 문제 없음'과 같은 대화형 확인 메시지를 출력하여 새 프롬프트를 기다리는 채팅봇을 모방한다. 이 버그는 이러한 특정 용어에 대해 검색 유틸리티를 효과적으로 중단시키며, 결정론적 검색 엔진 결과 페이지에 대화형 AI 모델을 직접 통합하는 것이 얼마나 어려운지 강조한다.