연구진은 LLM의 효율적인 학습을 위해 데이터 선택 방법인 PRISM을 제안했어요. PRISM은 현재 모델의 선호도를 활용하여 목표 행동을 대표하는 예시의 중요도를 가중치 부여합니다. 이를 통해 모델을 목표 행동에 더 효과적으로 이동시킬 수 있는 데이터에 집중할 수 있습니다.
이론적 분석 결과, 선호도 가중치는 목표 행동 선호도를 높이는 데 더 효과적인 방향을 제시합니다. 다양한 모델과 규모에서 실험한 결과, PRISM은 효율적인 파인튜닝과 안전 지향적인 SFT 수리에 모두 효과적이었어요.
연구 결과, 정확한 목표 행동 특성 규명이 예산 효율적인 데이터 선택의 핵심임을 보여줍니다.