연구진이 음악에 맞춰 춤을 생성하는 새로운 프레임워크를 선보였습니다. 기존 방식의 단점을 보완하기 위해 춤을 연속 신호가 아닌 '원자 움직임'이라는 의미 있는 동작 단위로 모델링합니다. 대규모 춤 데이터를 분석하여 원자 움직임 어휘를 구축하고, LLM을 활용해 의미론적 라벨링 및 개선을 거쳤습니다. 이 프레임워크는 음악을 기반으로 원자 움직임 계획 단계와 부드러운 동작 합성 단계를 거쳐 춤을 생성합니다.
원자 움직임 계획 단계에서는 음악에 맞춰 원자 움직임의 종류, 지속 시간, 타이밍을 예측하고, 동작 합성 단계에서는 계획된 구조에 맞춰 자연스러운 동작을 생성합니다. 실험 결과, 기존 방식 대비 구조적 일관성, 리듬 정렬, 자연스러움이 크게 향상되었으며, 명확한 구조적 표현을 통해 해석 가능성과 제어 가능성이 향상되었습니다.
연구진은 원자 움직임 어휘를 구축하기 위해 대규모 춤 데이터를 분석하고, LLM을 활용해 의미론적 라벨링 및 개선을 거쳤습니다.