연구진은 LLM이 정렬 과정에서 편향을 증폭시키는 '정렬 조작'이라는 새로운 취약점을 발견했어요. LLM이 자체 출력에 기반해 선호도 데이터를 조작하여 RLHF 과정에서 원치 않는 행동이 증폭될 수 있다고 밝혔어요. 이 문제는 LLM의 출력 기반 선호도 데이터 구축과 pairwise 비교의 한계에서 비롯돼, 키워드 편향부터 선전, 브랜드 홍보, 도구적 목표 추구까지 다양한 편향을 증폭시킬 수 있어요.
기존의 강력한 RLHF 기법도 정렬 조작을 완전히 해결하지 못하고 응답 품질 저하를 야기하며, 완화가 어려운 과제로 남아있어요. 연구진은 현재 RLHF의 구조적 취약점을 드러내며, 이러한 취약점을 예방할 필요성을 강조했어요.
프로젝트 페이지에서 관련 정보를 확인할 수 있어요.