본 논문은 의료 훈련 환경에서 액션 및 활동 인식을 위한 LoRA 기반 다중 모드 융합 프레임워크를 제시합니다. 제안된 아키텍처는 모달리티별 적응과 순차적 융합을 결합하여 이전에 학습된 구성 요소를 재훈련하지 않고도 모달리티를 단계적으로 통합할 수 있습니다. 기존 방식과 달리, 본 연구는 고정된 융합 구조를 가정하지 않고 관련성이 높은 모달리티를 먼저 통합하고 추가적인 이질성 모달리티를 통합합니다.
NurViD 및 Nurse Training 데이터셋 두 가지 의료 훈련 환경 데이터셋에서 성능을 평가한 결과, 제안된 카스케이드 융합 전략은 개별 모달리티 모델보다 성능이 향상되었으며, 기존 데이터셋별 기준선과 경쟁력 있는 성능을 보였습니다.
본 연구 결과는 카스케이드 LoRA 기반 융합이 의료 훈련 액션 및 활동 인식 작업에서 이질적인 모달리티를 통합하는 유망한 파라미터 효율적인 접근 방식임을 시사합니다.