연구진은 인간 피드백 강화 학습(RLHF)을 활용해 3D 얼굴 GAN(EG3D)의 지오메트리 성능을 향상시켰어요. 기존 방식과 달리 메쉬 추출 없이 NeRF의 밀도 값에 대한 보상 학습을 통해 3D 지오메트리를 직접 최적화했어요. 단일 평가자의 선호도를 학습 데이터로 사용, 사용자 비교 시 74.4%의 선호도 향상 결과를 보였어요.
기존 방식은 표면 표현을 최적화하는 데 집중했지만, 이번 연구는 3D 얼굴 GAN의 밀도 값에 대한 보상 학습을 통해 3D 지오메트리를 직접 개선했어요. 이 과정에서 메쉬 추출이나 다중 뷰 렌더링이 필요 없었어요.
2D 외관의 질적 유사성을 유지하면서 3D 지오메트리를 재구성했으며, 이 과정에서 FID-50k 점수가 4.09에서 6.66으로 소폭 상승하는 부작용이 있었어요.