DiscoLoop는 다중 홉 추론을 위해 이산 임베딩 채널과 연속 히든 상태 채널을 결합한 새로운 아키텍처입니다. 기존 루프 트랜스포머의 한계를 극복하고, 첫 번째 루프에서 생성된 정보를 더 잘 활용할 수 있도록 설계됐습니다.
연구 결과, DiscoLoop는 상징적 및 합성 언어 다중 홉 추론 작업에서 더 적은 훈련 단계로 거의 완벽한 정확도를 달성했습니다.
실제 사전 훈련에 적용했을 때, DiscoLoop는 기존 루프 트랜스포머보다 낮은 훈련 손실과 더 강력한 벤치마크 성능을 보이며 실용적인 언어 모델링에도 효과적임을 입증했습니다.