연구진이 음성 데이터와 텍스트를 결합한 LLM 기반 인지 기능 저하(CI) 탐지 프레임워크를 개발했어요. 음성 신호에서 음향 임베딩을 추출하고, 음성 기록 텍스트에서 텍스트 임베딩을 생성하여 결합했어요.
ADReSS20 및 ADReSSo21 벤치마크 데이터셋에서 CI 분류 정확도 92.4%를 달성하며 기존 방식보다 성능이 뛰어나다는 것을 입증했어요.
환자 개인 정보 보호를 위해 원시 데이터에 접근하지 않고도 다중 모드 프레임워크를 활용하여 강력하고 확장 가능한 비침습적 선별이 가능함을 보여줘요.