Loopie는 MoE 구조의 새로운 Transformer 모델 시리즈입니다. 20B 파라미터와 6B 파라미터 모델로 구성되어 있습니다. 기존 Looped Transformer의 한계를 극복하여 동일 컴퓨팅 예산으로 훈련했을 때 기존 모델보다 성능이 뛰어납니다.
Loopie는 새로운 post-training 파이프라인을 통해 강력한 추론 능력을 갖추고 있습니다. 2025년 IMO와 IPhO에서 도구 없이 금메달 성적을 달성했습니다. 기존 모델 대비 성능 향상을 입증하는 ablation 연구 결과도 공개됐습니다.