연구진은 LLM을 활용해 실제 사용자처럼 반응하는 사용자 시뮬레이터 학습 방법을 제시했어요. 튜링 테스트 기반 강화 학습(Turing-RL)을 통해 생성된 답변이 실제 사용자의 답변과 구별 불가하도록 학습해요. 두 가지 도메인(챗봇, Reddit)에서 기존 방법보다 LLM 및 인간 평가 지표에서 성능이 우수했어요.
Turing-RL은 LLM 판별기를 활용해 생성된 답변과 실제 답변을 구별하는 튜링 보상을 사용해요. 이를 통해 사용자 시뮬레이터 LLM은 실제 사용자가 말했을 법한 답변을 생성하도록 학습돼요. 기존 방식이 답변 일치에 집중했다면, Turing-RL은 구별 불가능성을 목표로 해요.
이 연구는 사용자 시뮬레이터 학습에 있어 답변 일치보다 구별 불가능성을 최적화하는 것이 효과적임을 보여줘요. 튜링 테스트 기반 강화 학습은 에이전트 학습, 개인화 시스템 평가, 사회과학 연구 등 다양한 분야에 활용될 수 있어요.