字節跳動研究發現QA訓練優於OCR用於長上下文多模態模型
字節跳動的一項研究顯示，使用問答對訓練多模態模型可以提高長上下文性能，而文本轉錄訓練實際上會損害性能。
字节跳动（ByteDance）與香港科技大學（HKUST）發布了一項研究，證明標準的字元辨識任務會干擾多模態模型在長文本中的訓練。相反，使用問答對迫使模型學習有效的檢索和資訊過濾。由此產生的模型 **mmprolong**，在最多 512,000 個 token 的情況下保持穩定，並在基準測試中優於大型的開源競爭對手。此外，研究人員發現，混合文檔長度優於專門的長文本訓練，並且這些增益可以轉移到視頻理解上，無需特定的訓練。