연구진이 자연어 프롬프트를 활용해 제작 가능한 Generative Animations 시스템을 공개했어요. LLM과 Segment Anything Model(SAM)을 결합하여 장면의 기하학적 구조를 고려한 모션 경로를 자동으로 생성합니다. 이 시스템은 윤곽선 추적, 궤도 애니메이션, 변환된 객체의 원근법에 맞춘 움직임 등 세 가지 사용 사례를 통해 성능을 입증했어요.
Generative Animations는 자연어 프롬프트를 기반으로 제작 가능한 애니메이션을 생성하는 파이프라인으로, 장면의 깊이 기반 가려짐과 3D 원근 변환을 고려합니다. 기존 방식의 수동 작업 부담을 줄여 애니메이션 제작 효율성을 높입니다. 연구는 contour-following, orbital animation, perspective-aligned motion 세 가지 사용 사례를 통해 진행됐습니다.
이 시스템은 LLM으로 의미 분석을 수행하고 SAM으로 시각적 기반을 잡는 방식으로 작동하며, 3D 장면의 기하학적 구조를 고려한 모션 경로를 생성합니다. 세 가지 사용 사례를 통해 장면의 깊이 기반 가려짐과 3D 원근 변환을 고려한 애니메이션 제작 가능성을 보여줍니다.