연구진이 LLM의 작업 기억 활용을 위한 새로운 방법 'RiM'을 제시했어요. RiM은 추론 단계를 자동 생성하는 대신 고정된 메모리 블록을 활용해 내부 정보를 조작하도록 합니다. 메모리 블록은 단일 순방향 패스로 처리되어 계산 효율성을 높여요. 실험 결과, 다양한 크기와 종류의 LLM에서 기존 방법보다 성능이 뛰어나거나 유사한 결과를 보였어요.
RiM은 먼저 각 메모리 블록 뒤에 명시적인 추론 단계를 예측하는 방식으로 학습하고, 이후 단계별 감독을 제거하여 최종 답변을 반복적으로 개선해요. 이를 통해 LLM이 작업 기억을 효과적으로 활용하여 잠재적 추론을 수행할 수 있음을 입증했어요.
RiM은 자동 생성 방식의 한계를 극복하고, 인간의 인지 과정처럼 내부적으로 정보를 보유하고 조작하는 능력을 LLM에 부여하는 데 기여할 것으로 기대돼요.