ByteDanceの研究、長コンテキストマルチモーダルモデルではQA学習がOCRを上回ると判明
ByteDanceの研究によると、質問応答ペアでマルチモーダルモデルを学習すると長コンテキスト性能が向上する一方、テキスト文字起こしによる学習はむしろ性能を損なうという。
バイトダンスとHKUSTは、標準的な文字認識タスクが長いコンテキストのためのマルチモーダルモデルの学習を妨げることを示す研究を発表した。代わりに、質問と回答のペアを使用すると、モデルは効率的な検索と情報フィルタリングを学習せざるを得なくなる。結果として得られるモデルであるmmprolongは、512,000トークンまで安定性を維持し、ベンチマークで大規模なオープンソースのライバルを上回る性能を発揮する。さらに、研究者らは、ドキュメントの長さの混合が、長いコンテキストのトレーニングのみに限定することよりも優れており、これらの利点は特定のトレーニングなしでビデオ理解に転用できることを発見した。