연구진은 LLM 판사의 편향이 입력-출력 수준뿐 아니라 은닉 상태의 표현 수준에서도 나타난다는 것을 밝혀냈습니다. 편향된 입력은 깊이와 함께 특정 유형의 저차원 부분 공간을 따라 이동하며, 이는 다양한 판사 및 벤치마크에서 일관되게 회수됩니다.
은닉 상태를 이 부분 공간을 따라 조종하면 깨끗한 입력에서 편향된 점수를 재현하거나 편향된 입력에서 기본 점수를 복원할 수 있습니다. 이러한 접근 방식은 텍스트 기반 대안보다 세 개의 완전히 새로운 벤치마크에서 판사 실패를 예측하는 데 효과적입니다.
연구 결과는 LLM 판사의 편향을 입력-출력 노이즈가 아닌 활성화 기하학으로 이해함으로써 기하학적 구조, 인과적 제어, 운영 예측을 통합하는 프레임워크를 제시합니다.