DRIFTLENS는 개인화된 LLM의 추론 경로 변화를 측정하는 새로운 프레임워크입니다. 사용자의 속성 정보가 모델의 추론 과정에 영향을 미쳐 편향을 발생시킬 수 있다는 연구 결과가 발표됐습니다.
연구에 따르면, 4가지 LLM과 10가지 사용자 속성(나이, 직업, 장애 등)을 활용한 실험에서 모델의 추론 과정에 상당한 편향이 관찰됐습니다. 최종 답변은 유창하고 적절하더라도 추론 과정 자체가 달라집니다.
GRPO 및 DPO 기반의 후속 훈련 방법을 통해 편향을 줄일 수 있지만, 모델과 보상 함수에 따라 유용성, 지시 따르기 능력에 영향을 미칠 수 있습니다.