연구진이 뇌 활동과 시각·언어 정보를 통합하는 BrainJanus 모델을 개발했어요. 뇌 활동을 이산 토큰으로 양자화하여 시각 및 언어 표현과 공유 공간에 정렬하는 방식을 사용합니다.
BrainJanus는 뇌, 시각, 언어를 단일 프레임워크로 통합하는 최초의 모델로, 이미지-뇌, 텍스트-뇌 인코딩과 뇌-이미지, 뇌-텍스트 디코딩을 가능하게 합니다.
다양한 벤치마크에서 우수한 성능을 보였으며, 생물학적 지형을 보존하며 해석 가능성을 높여 일반적인 뇌 모델링 패러다임으로 활용될 가능성을 보여줍니다.