자연어 처리는 계산 사회과학의 주요 도구로 빠르게 발전하며, 연구자들은 임베딩을 사용하여 참신성, 창의성, 편향과 같은 잠재적 구성 요소를 측정하고 있습니다.
본 연구는 임베딩의 기하학적 특성을 직접적인 사회적 개념 측정으로 간주하는 '프록시 가정'의 타당성 문제를 제기하며, 명시적 검증 없이는 임베딩이 목표 구성 요소와 혼동되는 속성들의 혼합 상태로 남을 수 있다고 주장합니다.
연구진은 개념화부터 정량적 검증까지 엄격한 파이프라인을 제공하는 구성 타당성 프로토콜(CVP)을 소개하고, LLM을 활용한 새로운 방법인 반사실적 중화(Counterfactual Neutralization)를 제안하여 임베딩 공간의 혼동을 줄입니다.