연구진은 자가 진화형 에이전트가 실패를 관찰하며 기술을 퇴출하는 과정을 분석했어요. 하지만 평가자가 실패를 감지하지 못하면 기술 퇴출 메커니즘이 작동하지 않는다는 사실을 발견했어요. 특히, 실패를 성공으로 잘못 판단하는 '오탐' 편향은 기술 퇴출을 완전히 멈추게 하는 것으로 나타났어요. 이 현상은 다양한 영역에서 나타나지만, 평가자의 품질 저하 없이 기술 퇴출 메커니즘이 멈추기 때문에 기존 지표로는 감지하기 어려워요.
연구진은 평가자의 편향을 인위적으로 조작하는 실험을 통해 기술 퇴출 메커니즘의 실패 원인을 규명했어요. 오탐 편향이 특정 임계값을 넘어서면 기술 퇴출이 완전히 중단되며, 아무리 많은 데이터를 추가해도 회복 불가능한 것으로 확인됐어요. 이는 기술 퇴출 메커니즘이 단순히 노이즈를 추가하는 것이 아니라, 핵심적인 '큐레이터' 기능을 멈추게 하는 심각한 문제임을 시사해요.
연구진은 간단한 감사 절차를 통해 평가자의 편향 정도를 사전에 파악하고, 배포 전에 문제를 해결할 수 있는 방법을 제시했어요. 이 방법은 성능 향상보다는 안전성 확보에 기여하며, 평가자의 편향이 기술 퇴출 메커니즘에 미치는 영향을 최소화하는 데 도움을 줄 수 있어요.