ByteDance 연구, 장문 컨텍스트 멀티모달 모델에서 QA 학습이 OCR보다 우수하다고 발견
ByteDance 연구에 따르면 질문-답변 쌍으로 멀티모달 모델을 학습시키면 장문 컨텍스트 성능이 향상되는 반면, 텍스트 전사 학습은 오히려 성능을 해친다.
ByteDance와 HKUST는 표준 문자 인식 작업이 긴 문맥에 대한 멀티모달 모델 훈련을 방해한다는 연구를 발표했다. 대신 질문-답변 쌍을 사용하면 모델이 효율적인 검색 및 정보 필터링을 학습하도록 강제한다. 결과 모델인 MMProlong는 최대 512,000 토큰까지 안정성을 유지하며 벤치마크에서 대규모 오픈 소스 경쟁업체를 능가한다. 또한 연구진은 문서 길이의 혼합이 독점적인 긴 문맥 훈련보다 우수하다는 것을 발견했으며 이러한 이득은 특정 훈련 없이도 비디오 이해에 적용된다.