CiteVQA, 출처 귀속 실패 폭로
연구진이 citevqa를 소개하며, gpt-5.4 같은 모델은 87.1%의 정답률을 보이지만 정확한 출처를 인용하도록 요구하면 정확도가 59%로 급락한다는 사실을 밝혔습니다.
citevqa는 711개의 PDF에서 1,897개의 질문에 대해 20개의 모델을 평가했으며, 페이지 번호만으로는 안되고 정확한 증거 마커가 필요했다. gemini-3.1-pro-preview는 76점을 얻었으며, gpt-5.4는 인용 오류로 인해 59점으로 떨어졌다. 오픈 소스 모델은 23점 미만이었다. 연구에 따르면 올바른 문서 구절을 찾는 것이 시각적 문서 이해의 주요 병목구간이라고 결론지었다.