연구진은 RLHF가 텍스트-이미지 모델을 인간 선호도에 맞추는 데 널리 사용되지만, 미세 조정 후 심각한 다양성 붕괴를 초래한다는 것을 발견했습니다. 정책 엔트로피가 다양성과 상관관계가 있다고 가정하지만, 흐름 모델에서는 이론적, 경험적으로 이 직관이 틀렸음을 밝혔습니다. 연구진은 지각 공간에서 다양성을 포착하는 지각 엔트로피를 도입하여 품질-다양성 균형을 개선하는 두 가지 전략을 제안했습니다.