연구진이 해시 기반 autoregression 프레임워크 MultiHashFormer를 제안했어요. 각 토큰을 여러 독립적인 해시 함수로 생성된 짧은 해시 ID 시퀀스로 표현하며, 해시 인코더가 이를 단일 잠재 벡터로 압축해요. 1억, 3억 파라미터 규모 모델에서 기존 Transformer LM을 능가하는 성능을 보여줬어요.
MultiHashFormer는 다국어 어휘 확장을 위한 상수 파라미터 규모를 유지하며, 수정 없이 처리할 수 있어요. 해시 기반 autoregression을 가능하게 하는 새로운 방식이에요.
연구 결과, MultiHashFormer는 표준 Transformer LM보다 성능이 우수하며, 다국어 어휘 확장에 효과적이에요.