Loopie는 20B·6B 파라미터 MoE 모델로 구성된 새로운 Looped Transformer 시리즈입니다. 기존 모델 대비 동일 컴퓨팅 예산으로 훈련 시 Loopie가 성능을 크게 능가하는 것을 확인했습니다. 특히 2025년 IMO·IPhO에서 도구 없이 금메달 성적을 달성했습니다.
Loopie는 기존 Looped Transformer의 한계를 극복하고, 컴퓨팅 자원을 효율적으로 활용하여 모델 성능을 향상시키는 데 집중했습니다. 새로운 post-training 파이프라인을 통해 강력한 추론 능력을 확보했습니다. Vanilla Transformer 기반 모델과 비교했을 때 상당한 성능 향상을 보였습니다.
Loopie는 128K 컨텍스트를 지원하며, API, Claude.ai, Bedrock 등 다양한 채널에서 사용할 수 있습니다. 향후 더 많은 사용자와 개발자를 위해 Loopie 모델을 지속적으로 개선해 나갈 계획입니다.