연구진이 LLM의 메타인지 능력 부족 문제를 해결하기 위해 메타인지 기반 강화 학습(RLMF) 방법을 제안했어요.
RLMF는 모델이 스스로의 성능을 평가하고 이를 바탕으로 학습을 개선하는 방식으로, 기존 강화 학습보다 최대 63% 성능 향상 효과를 보였어요.
RLMF를 통해 LLM의 신뢰도(faithfulness)를 향상시키고, 모델이 자신의 한계를 정확하게 파악하고 표현할 수 있도록 만들 수 있어요.
연구 결과, RLMF는 다양한 작업에서 최고 수준의 성능을 달성하며, LLM의 능력 향상 및 정렬에 기여할 수 있음을 보여줬어요.