연구진은 fMRI 신호로부터 연속적인 언어를 해독하는 과정에서 Llama 3.2를 활용해 Huth et al.의 ridge regression 인코딩 파이프라인을 개선했어요. 개선 결과, UTS03 피험자의 세 가지 내러티브에서 평균 METEOR 점수가 14.9% 향상됐어요.
fMRIFlamingo를 통해 BOLD 활동을 고정된 Llama-3.2-1B에 매핑했지만, fMRI 입력이 0인 경우에도 유사한 정확도를 보여 언어 사전 지식에 의해 해독 성공이 주로 결정됨을 밝혀냈어요.
연구 결과, 고용량 언어 모델이 fMRI 해독 성능을 향상시키지 못하고 오히려 실패를 가릴 수 있으며, 엄격한 블라인드 통제 평가가 필요함을 시사해요.