연구진은 시각 정보와 후각 데이터를 연결하는 SCENT 프레임워크를 발표했어요. SCENT는 Vision-Language Model(VLM)을 활용해 시각적 장면을 설명하는 텍스트 설명을 생성하고, 이를 통해 후각 표현을 학습해요.
VLM은 객체, 환경 맥락, 시각적 장면에서 유추할 수 있는 주변 냄새 힌트를 포착하여 후각 표현 학습에 필요한 의미론적 지침을 제공해요.
New York Smells 데이터셋 실험 결과, SCENT는 시각 정보만 사용한 기존 방식보다 이미지-냄새, 텍스트-냄새 검색에서 뛰어난 성능을 보였어요.
SCENT는 복잡한 냄새 혼합물을 분리할 수 있는 해석 가능한 후각 표현을 생성하여, 다중 모드 학습에서 맥락적 의미 정보의 중요성을 보여줬어요.