연구진이 완전 양방향 음성 대화 모델 학습을 위한 오픈 소스 코퍼스 DuplexChat과 코퍼스 구축 파이프라인 DuplexChat-Pipe를 공개했어요. DuplexChat-Pipe는 공개 팟캐스트 피드에서 화자 분리된 대화 음성 클립을 추출하고 음성 분리 및 복원 과정을 거쳐 생성돼요. 영어 28만 2천634시간, 일본어 13만 2천723시간 분량의 코퍼스가 확보됐어요.
DuplexChat은 인간 대화의 턴테이킹 역학 관계를 포함하고 있어, 음성 대화 모델 학습에 유용할 것으로 기대돼요. 기존 코퍼스의 한계를 극복하고 SDLM (Spoken Dialogue Language Modeling) 학습에 적합한 환경을 제공하는 데 기여할 수 있을 거예요.
연구 결과, DuplexChat은 기존 코퍼스에서 찾아보기 어려웠던 완전 양방향 대화 음성 데이터를 제공하며, 대화 모델의 성능 향상에 기여할 것으로 보입니다.