연구진은 autoregressive decoding의 한계를 극복하기 위해 T^2MLR이라는 새로운 Transformer 기반 잠재적 추론 아키텍처를 제안했어요. T^2MLR은 이전 토큰의 cached middle layer representation을 현재 토큰 위치의 이전 레이어에 직접 통합하여 추론 상태를 유지합니다. 자연어 사전 훈련 및 다중 홉 추론에서 기존 Transformer보다 성능이 우수했어요.
T^2MLR은 전체 레이어가 아닌 국소적인 middle-layer block에만 순환을 적용해도 성능이 향상될 수 있으며, 기존 Transformer를 활용하여 쉽게 적용할 수 있어요. 수학 추론 능력을 향상시키는 데 효과적입니다.