연구진은 LLM의 텍스트 생성 과정에서 어휘 다양성이 제한되는 현상을 분석하고, Word Coverage Score (WCS)라는 새로운 지표를 제시했어요.
WCS는 Top-p, Top-k, Min-p 등 표준 샘플링 필터가 문맥에 맞는 인간의 어휘를 얼마나 제거하는지 측정하는 지표로, 기존 연구와 달리 디코딩 메커니즘에 주목했어요.
분석 결과, 현재 사용되는 샘플링 기본 설정이 의도치 않게 검열처럼 작용하여 인간의 고유한 표현을 획일화된 담론으로 만들고 있다는 사실을 밝혀냈어요.