ハイブリッドモデルは意味の予測でTransformerを上回る — ただしコピーは苦手
HuggingFaceのOLMoハイブリッドに関する研究によると、このアーキテクチャは名詞のような意味のあるトークンの予測に優れる一方、標準的なTransformerと比べて機械的な繰り返しは苦手であることが示された。
Hugging Faceの研究者らは、Olmo HybridとOlmo 3を比較し、データとトレーニングを一致させることでアーキテクチャ上の違いを分離し、ハイブリッドモデルは、代名詞解決のような進化するコンテキストに依存するトークンを予測するのに優れていることを発見した。しかし、この利点は、入力の前半部分からの逐語的な想起を必要とするタスクではほぼ消失し、標準的なトランスフォーマーのアテンション機構が優勢になる。 この発見は、ハイブリッドモデルは特定のトークンを「調べる」能力を、長いシーケンスに対する優れた効率と推論能力と交換していることを示唆している。