연구진이 단계별 추론을 위한 Deep Looped Transformer 모델 FPRM을 개발했어요. FPRM은 복잡한 문제 해결을 위해 필요한 연산량을 자동으로 조절하는 고정점 수렴 방식을 사용해요. Sudoku, Maze, state-tracking, ARC-AGI 등 추론 벤치마크에서 효과적인 성능을 보여줬어요.
FPRM은 pre-norm 레이어와 잔차 스케일링을 활용해 깊이로 인한 신호 전달 문제를 해결했어요. 기존 Deep Looped Transformer 모델의 문제점을 개선한 결과라고 설명해요.
고정점 수렴 방식을 사용해 연산량을 조절하는 FPRM은 복잡한 문제 해결에 적합하며, 단계별 추론 능력을 향상시키는 데 기여할 것으로 기대돼요.