rotative
the decoder · 2026年5月25日

CiteVQA、出典帰属の失敗を暴く

研究者らがCiteVQAを発表。GPT-5.4などのモデルは87.1%の割合で正しく回答するものの、正確な出典の引用を求められると精度が59%に急落することが明らかになった。

read in English · 简体中文 · 繁體中文 · 한국어

CiteVQAは、711のPDFで1,897の質問を評価し、単なるページ番号ではなく、正確な証拠マーカーを必要とした。Gemini-3.1-Pro-Previewは76点を獲得したが、GPT-5.4は引用エラーにより59点に低下した。オープンソースモデルは23未満のスコアであった。この研究は、視覚的なドキュメント理解における主なボトルネックは、正しいドキュメントパサージの位置特定であると結論付けている。

read at source ↗

← rotative