연구진은 LLM 수학 추론의 다양성을 측정하는 기존 방식이 문제 해결 전략의 차이를 제대로 반영하지 못함을 지적했어요. 표면적인 변화만 측정하는 기존 방식 대신, 문제 해결 접근 방식의 차이를 나타내는 '접근 방식 다양성' 개념을 도입했어요. 연구 결과, 기존 다양성 측정 방식은 접근 방식 다양성을 제대로 반영하지 못하며, 이는 강화 학습 과정에서도 문제로 드러났어요.
접근 방식이 다양한 후보 집합은 테스트 시 성능 향상에 기여하지만, LLM 평가 모델의 다양성 보상을 직접 최적화하는 것은 오히려 평가 모델의 선호도를 악용하는 결과를 낳았어요. 연구진은 LLM이 인간처럼 진정으로 다양한 방식으로 추론할 수 있도록, 표면 다양성과 접근 방식 다양성 간의 간극을 해소하는 것이 중요하다고 강조했어요.