연구진이 실시간 음악 반주 생성 시스템 LiveBand을 개발했어요. LiveBand은 원본 오디오 입력에 맞춰 고음질 반주를 생성하며, 시간 제약 조건을 준수합니다.
연구팀은 사전 훈련된 오디오 자동 인코더의 연속적인 잠재 공간에서 인과 관계 변환기 생성기를 훈련했어요. 이 과정에서 판별기를 활용한 시퀀스 레벨 적대적 감독 방법을 사용했습니다.
LiveBand은 기존 방식 대비 음질, 박자 정렬, 믹스 준수 측면에서 성능이 향상되었으며, 소비자 하드웨어에서도 실시간 스트리밍 생성이 가능합니다.