본 연구는 기존 언어 모델 사전 훈련 방식이 시각 정보를 활용하지 못한다는 점에 주목했어요. 시각적 단서를 활용하는 시각 사전 훈련이 언어 지능 발전에 효과적임을 입증했어요. 여러 모델과 벤치마크에서 시각 사전 훈련이 텍스트 기반 사전 훈련보다 우수한 성능을 보였어요.
연구진은 문서와 웹페이지에 담긴 시각 정보를 직접 활용하는 비지도 시각 사전 훈련 방법을 제시했어요. 이를 통해 시각적 맥락을 이해하는 언어 모델을 개발할 수 있어요. 다양한 모델 구조에서 시각 사전 훈련이 텍스트 기반 훈련보다 효율적인 언어 지능 발전에 기여하는 것으로 나타났어요.
기존 방식은 문서와 웹페이지를 단순 텍스트로 변환했지만, 본 연구는 시각적 단서를 보존하여 언어 모델의 이해도를 높이는 데 집중했어요. 시각 사전 훈련은 언어 지능 발전을 위한 새로운 가능성을 제시하며, 확장 가능한 학습 경로를 제공해요.