연구진이 LLM 정렬을 위해 사용자의 마우스 움직임과 시선 데이터를 활용하는 새로운 방법 IFLLM을 공개했어요. 기존 방식의 명시적 피드백 수집 비용 문제를 해결하고, 인터넷 기업의 경제적 성공 요인인 암묵적 피드백을 활용하는 것이 특징이에요.
IFLLM 데이터셋은 59명의 Mechanical Turk 작업자를 통해 수집된 1336개의 질문과 마우스 경로, 시선 정보 등을 포함하며, 사용자의 다양한 시선 패턴을 보여줘요.
암묵적 사용자 피드백 기반의 보상 모델은 텍스트 기반 모델의 정확도를 55%에서 64%로 향상시키고, 8개의 LLM에 DPO를 적용했을 때 상대적인 응답 품질을 거의 3배 개선하는 효과를 보여줬어요.