하이브리드, 의미에서는 트랜스포머를 능가 — 하지만 복사에는 실패
HuggingFace의 OLMo 하이브리드 연구에 따르면, 이 아키텍처는 명사 같은 의미 있는 토큰 예측에는 뛰어나지만 표준 트랜스포머에 비해 기계적 반복에는 어려움을 겪습니다.
허깅페이스 연구자들은 Olmo Hybrid와 Olmo 3를 비교하며, 데이터와 훈련을 일치시켜 건축학적 차이를 분리하여, 하이브리드 모델이 대명사 해결과 같은 진화하는 컨텍스트에 종속된 토큰을 예측하는 데 탁월하다는 것을 발견했다. 그러나 이러한 이점은 입력의 이전 부분에서 정확한 리콜을 요구하는 작업에서는 거의 사라지며, 표준 트랜스포머의 어텐션 메커니즘이 지배한다. 연구 결과는 하이브리드들이 특정 토큰을 '찾아보기' 위해 효율성과 긴 시퀀스에 대한 추론을 희생한다는 것을 시사한다.