연구진은 LLM과 MLLM의 보편적 표현을 활용해 뇌 기반 모델을 구축하는 방법을 제안했어요.
Generative Visual Grounding(GVG) 프레임워크는 EEG-to-image 생성 모델을 활용해 시각적 정보를 활용, 뇌 활동의 미세한 정보 손실을 줄여요.
GVG-X-Omni는 170M 파라미터만으로 7B 모델을 활용해 텍스트 기반 모델과 경쟁력 있는 성능을 보여줬고, GVG-Janus는 이미지와 텍스트를 결합해 EEG 이해도와 시각적 생성 능력을 향상시켰어요.