연구진은 LLM의 맥락적 무결성(CI)을 강화하는 SELFCI라는 새로운 프레임워크를 제안했어요. SELFCI는 정보 억제와 작업 해결을 분리하여 유용성과 개인 정보 보호 간의 균형을 맞춥니다.
SELFCI는 두 가지 역방향 KL 발산을 공동으로 최적화하여, 작업 관련 정보를 유지하고 적절한 정보 공개를 강제하는 방식으로 작동해요.
실험 결과, SELFCI는 외부 감독 없이도 기존 강화 학습 알고리즘보다 우수한 성능을 보였으며, 다양한 환경에서도 CI 정렬에 효과적임을 입증했어요.