字节跳动研究发现QA训练优于OCR用于长上下文多模态模型
字節跳動的一項研究表明，使用问答对训练多模态模型可以提高长上下文性能，而文本转录训练实际上会损害性能。
字节跳动和香港科技大学发布了一项研究，证明标准的字符识别任务会破坏长上下文的多模态模型训练。相反，使用问答对可以迫使模型学习有效的检索和信息过滤。由此产生的模型 mmprolong 在基准测试中优于大规模开源竞争对手，其稳定性可达 512,000 个 token。此外，研究人员发现，混合文档长度优于专有的长上下文训练，并且这些增益无需特定训练即可转移到视频理解。