연구팀이 단일 사진에서 실시간으로 드라이빙 가능한 아바타를 생성하는 FiCA 파이프라인을 공개했어요. 제한된 시각 정보만으로 3D 외형과 기하학적 구조를 정확히 추론하는 것이 어렵다는 문제점을 해결하기 위해 개발됐어요.
인간 중심 비전 모델과 디퓨전 모델을 결합하여 부분적인 시각 정보를 최대한 활용해 사실적인 인간 아바타를 생성하고, 3D 메쉬 재구성 디퓨전 모델을 통해 완전하고 진정성 있는 3D 메쉬를 생성해요.
FiCA는 기존 방식 대비 다양한 정체성을 충실히 반영하며 시각적 품질이 뛰어나다는 점이 특징이며, 개인별 테스트 시간 최적화 없이도 사실적인 아바타를 만들 수 있어요.