연구진이 텍스트 프롬프트를 기반으로 3D 형태를 생성하는 데 어려움을 겪는 MLLM의 한계를 극복하기 위해 SuperVoxelGPT 프레임워크를 개발했어요. 이 프레임워크는 형태에 맞춰 적응적으로 정렬된 슈퍼복셀 토큰화를 사용해 토큰 시퀀스 길이를 줄이고 생성 품질을 향상시켰어요. Trellis-500K 데이터셋 실험 결과, 기존 방식보다 토큰 시퀀스 길이가 12.8%로 줄고 평균 10배 빠른 속도를 보였어요.
SuperVoxelGPT는 먼저 텍스트 프롬프트에 따라 대략적인 기하학적 중요도 분포를 예측하고, 중요도 기반 중심 보로노이 분할을 통해 형태에 맞춰 슈퍼복셀 파티션을 생성해요. 이렇게 생성된 슈퍼복셀 토큰은 MLLM을 통해 순차적으로 생성돼요.
이 프레임워크는 기존 방식의 단점을 보완하며, 복잡한 영역에는 세밀한 셀을, 매끄러운 영역에는 큰 셀을 할당하여 효율적인 3D 형태 생성에 기여할 것으로 기대돼요.