파키스탄 JudgeGPT, 미결 사건 6% 감소 — 단, 목표화된 훈련이 전제

1,559명의 파키스탄 판사를 대상으로 진행된 현장 실험에서 129,000건의 법률 문서에 대한 RAG 액세스를 갖춘 GPT-4 도구인 JudgeGPT를 테스트하여 226만건의 미해결 사건 적체 문제를 해결하고자 하였다. 표적 훈련을 받은 판사들은 대조군에 비해 연간 평균 1,848건의 추가 사건을 해결했으며, 항소율은 약간 감소하고 판결의 질은 59%의 비교에서 개선되었다. 성공 여부는 훈련에 크게 의존했다. 훈련받지 않은 판사들은 도구를 거의 사용하지 않은 반면, 훈련받은 사용자들은 위험한 광범위한 쿼리 대신 신뢰할 수 있는 편집 작업으로 전환했다. 연구 결과는 정부에서 AI를 배포할 때 단순한 모델 접근이 아닌 구체적인 구현 전략이 필요하다는 것을 시사한다.