AI 탐지기는 일관성이 없고 사람이 쓴 글을 AI 생성물로 부당하게 판정할 수 있다
Authors Guild의 테스트에서 Pangram과 Grammarly의 도구는 사람이 쓴 텍스트를 모두 정확히 식별한 반면, Sidekicker는 모든 기사에서 실패했습니다. 이러한 일관성 부족은 작가들에게 위험이 되며, 오탐으로 인해 계약을 잃고 평판이 손상될 수 있습니다.
저작자 길드(The Authors Guild)는 2020-2022년의 기사를 대상으로 5개의 AI 탐지 도구를 테스트한 결과, Pangram과 Grammarly가 모든 사람의 글쓰기를 정확하게 식별한 반면, Sidekicker는 모든 텍스트를 대부분 AI가 생성한 것으로 표시했다고 밝혔다. 일부 도구의 성능이 높음에도 불구하고, 길드는 탐지 도구가 숙련된 사람의 작가와 그 스타일을 모방하는 기계를 안정적으로 구별할 수 없는 불안정한 블랙박스임을 경고했다. 전문적인 글쓰기는 훈련 데이터와 통계적 패턴을 공유하기 때문에 숙련된 작가는 계약을 무효화할 수 있는 허위 비난의 위험에 가장 많이 노출된다. 결과는 인간의 전문성이 훈련에 도움이 된 출력을 닮았다는 이유로 처벌받는 역설을 강조한다.