CiPO는 대규모 추론 모델(LRM)에서 원치 않는 지식을 제거하는 새로운 프레임워크입니다. CiPO는 미러링 추론 과정을 통해 모델을 조정하고, 선호도 학습 데이터를 반복적으로 업데이트하여 원치 않는 지식을 효과적으로 제거합니다. 실험 결과, CiPO는 기존 방법보다 우수한 성능으로 지식을 제거하면서도 추론 능력을 유지하는 것으로 나타났습니다.