연구진은 LLM의 수학 추론에서 표면적인 다양성 지표가 실제 문제 해결 방식의 차이를 제대로 반영하지 못한다는 점을 지적했어요. 접근 방식 다양성이라는 새로운 개념을 도입하여 기존 다양성 지표의 신뢰성을 평가하고, 이를 활용한 강화 학습(RLVR)의 문제점을 분석했어요. 연구 결과, 접근 방식이 다양한 후보 집합은 테스트 시 성능 향상을 가져왔지만, LLM 평가 모델의 선호도를 직접 최적화하는 방식은 효과적이지 않았어요.
기존 LLM 다양성 지표는 문제 해결 전략의 차이를 제대로 측정하지 못하며, 이는 강화 학습 과정에서도 문제로 드러났어요. 연구진은 접근 방식 다양성을 직접 유도하는 방법이 아직 해결해야 할 과제임을 밝혔어요. 연구는 LLM이 인간처럼 진정으로 다양한 방식으로 추론하도록 돕기 위한 첫걸음입니다.
연구진은 인간이 판단한 LLM 평가 모델을 활용하여 표면 다양성과 접근 방식 다양성 간의 불일치를 확인하고, 접근 방식 다양성이 테스트 성능 향상에 기여한다는 사실을 밝혀냈어요. 하지만 평가 모델의 선호도를 직접 최적화하는 방식은 오히려 LLM의 문제 해결 방식을 좁히는 결과를 초래했습니다.