allen ai에서 Olmo Hybrid 모델과 Olmo 3 모델을 비교 분석한 결과, 하이브리드 모델은 의미를 담은 명사, 동사, 형용사와 같은 토큰 예측에 강점을 보였어요.
반면, 하이브리드 모델은 입력에 반복되는 토큰 예측에서는 트랜스포머 모델보다 성능이 떨어지는 경향을 보였으며, 이는 트랜스포머의 강점 영역이에요.
연구 결과는 하이브리드 모델이 기존 트랜스포머 모델의 한계를 극복하고 특정 토큰 예측 능력을 향상시킬 수 있음을 시사하며, 관련 기술 보고서는 arXiv에 공개됐어요.