본 논문은 인간 선호도 데이터셋에 대해 차등적으로 학습된 보상 모델(RM)이 무엇을 기억하는지 연구해요. RM은 쉬운, 마진이 큰 선호도 쌍에 기억을 잘못 할당하고, 데이터셋 특정의 지름길을 기억하며, 인간 선호도의 단순한 휴리스틱 상관관계를 과장하는 경향이 있어요.
RM은 쉬운, 마진이 큰 선호도 쌍에 기억을 집중하고, 데이터셋에 특화된 지름길(예: 모델 식별자, 사용자 샘플링 전략)을 암기하는 것으로 나타났어요. 또한, 새로운 선호도 쌍에 직면했을 때 인간 선호도의 단순한 휴리스틱 상관관계(예: 길이, 준수)를 과장하는 경향이 있어요.
본 연구 결과는 인간 선호도 데이터로부터 차등적으로 학습된 RM은 맥락 의존적인 응답 품질을 판단하는 데 한계가 있는 편향된 모델이라는 점을 보여줘요.