연구진이 30만 개의 실제 주거 공간 바닥 평면 데이터셋을 활용해 HomeWorld 프레임워크를 개발했어요. 이 프레임워크는 전체적인 공간 조화, 현실감, 시뮬레이션 준비성을 높이는 데 초점을 맞췄어요. 이미지 생성 모델과 VLM 기반 개선기를 활용해 가구 배치 및 작은 물체 위치를 정밀하게 제어하며, 5K 개의 완벽하게 가구 배치된 장면과 데이터셋을 공개할 예정이에요.
HomeWorld는 바닥 평면 생성, 가구 배치, 작은 물체 위치 결정 등 여러 단계를 통합하여 전체적인 공간 조화를 이루도록 설계됐어요. K-D 트리 기반 표현 방식을 통해 세밀하고 제어 가능한 바닥 평면 생성이 가능하며, 다양한 시점에서의 가구 배치를 생성해 현실감을 높였어요.
VLM 기반 개선기는 가구 및 물체 위치를 반복적으로 수정하여 배치 정확도를 높이고, 3D 생성 모델은 개별 자산 교체를 유연하게 지원해요. 물리적 속성, 표면 질감, 조명 설정 등을 추가하여 임베디드 AI 사용을 위한 파이프라인을 완성했어요.