연구진은 LLM 생성 텍스트에서 다양한 관점을 파악하는 다층 프레임워크를 개발했어요. 이 프레임워크는 도메인에 구애받지 않고 텍스트에서 관점을 추출하여 LLM 생성의 다원주의 격차를 파악하는 데 사용돼요. 책 리뷰 데이터셋을 활용한 실험 결과, 일부 모델과 프롬프트는 다양한 관점을 어느 정도 포괄하지만, 희귀한 관점은 여전히 과소평가되고 있다는 것을 확인했어요.
연구는 LLM이 훈련 데이터의 다양성을 줄이고 균일한 텍스트를 생성하는 경향이 있다는 것을 보여주며, 이는 기존의 객관식 설문 조사나 텍스트의 고수준 특징을 통해 입증되어 왔어요. 새로운 프레임워크는 이러한 문제를 보다 명확하게 분석하고 해결하는 데 기여할 수 있어요.
연구 결과는 LLM이 인간 텍스트의 분포와 차이를 보이는 현상을 보여주며, 이는 LLM의 다원주의적 정렬을 개선하기 위한 추가 연구의 필요성을 강조해요.