연구진이 음악 점수를 기반으로 표현력 있는 피아노 연주를 생성하는 PianoKontext 모델을 개발했어요. 기존 모델의 한계를 극복하기 위해 Music2Latent 모델의 잠재 공간에서 가변 길이 연주를 생성하는 방식이 특징이에요. DTW를 활용해 점수와 연주 간의 의존성을 학습하여 더욱 자연스러운 연주 결과물을 얻을 수 있어요.
PianoKontext 모델은 기존 flow matching 모델의 동기화된 음악 샘플 제약 문제를 해결하고, 다양한 길이의 연주를 생성할 수 있도록 설계됐어요. 데모 페이지에서 실제 오디오 샘플을 확인할 수 있어요.
Music2Latent 모델의 잠재 공간과 DTW를 활용하여 점수와 연주 간의 관계를 학습하는 방식으로, 보다 자연스러운 피아노 연주를 생성하는 데 기여합니다.