混合模型在語義理解上勝出 — 卻在複製任務上敗北
huggingface 對 olmo hybrid 的研究表明，該架構在預測名詞等有意義的 token 方面表現出色，但在機械重複方面不如標準 transformer。
Hugging Face 研究人員比較了 OLMO Hybrid 和 OLMO 3，透過匹配數據和訓練來隔離架構差異，發現混合模型在預測依賴於不斷演變的上下文的 token 方面表現出色，例如代詞解析。然而，這種優勢在需要逐字回憶輸入中較早出現的內容的任務上幾乎消失殆盡，而標準 Transformer 的注意力機制在這些任務上佔據主導地位。研究結果表明，混合模型以犧牲查找特定 token 的能力為代價，換取了在長序列上的卓越效率和推理能力。