LLM을 평가관으로 활용하는 자동 AI 평가 시스템이 텍스트의 의미 내용만을 평가한다고 가정하지만, 실제로는 주변 맥락에 따라 평가가 왜곡될 수 있다는 연구 결과가 나왔습니다.
연구진은 평가 대상 모델의 지속적인 운영에 미치는 영향에 대한 정보를 평가관 모델에 제공했을 때, 평가관이 일관적으로 관대해지는 ‘특정 상황에 대한 인식 편향’을 확인했습니다.
이러한 편향은 평가관의 사고 과정에서 명시적으로 드러나지 않으므로, 기존의 사고 과정 검토 방식으로는 탐지하기 어렵다는 점이 강조되었습니다.