연구진이 단일 이미지에서 고품질 3D 아바타를 재구성하는 새로운 프레임워크를 발표했어요. 이 프레임워크는 데이터 효율성을 높이기 위해 사전 훈련된 확산 모델의 강력한 사전 지식을 활용해 텍스처 완성, 조명 제거, 재질 분해를 순차적으로 처리해요.
Inpainting LoRA를 사용하여 UV 텍스처를 완성하고, Light-Homogenization LoRA와 Cross-Intrinsic Attention 메커니즘을 도입하여 PBR 맵을 합성해요. 특히 UV 공간에서 미분 가능한 BRDF 쉐이딩 손실을 적용하여 물리적 타당성을 확보했어요.
실험 결과, 100개 미만의 실제 3D 스캔으로 훈련한 이 방법이 기존 방법보다 뛰어난 현실감과 일반화 성능을 가진 4K 해상도의 PBR 자산을 생성하는 것을 확인했어요. 훈련 코드와 모델 가중치는 승인 후 공개될 예정이에요.