연구진은 기존 언어 모델 사전 훈련 방식이 시각 정보를 제대로 활용하지 못한다고 지적했어요. 문서나 웹페이지의 그림, 수식, 레이아웃 등 시각적 요소는 텍스트만으로는 표현하기 어려운 중요한 정보를 담고 있기 때문이에요. 이 연구는 시각 사전 훈련이 언어 지능을 위한 확장 가능한 학습 방법임을 보여주고, 다양한 백본과 벤치마크에서 텍스트만 사용한 사전 훈련보다 시각 사전 훈련이 더 우수한 성능을 냈어요.
연구진은 시각적 문서를 텍스트로 변환하지 않고 직접 활용하는 비지도 시각 사전 훈련 패러다임을 체계적으로 연구했어요. 이를 통해 언어 지능을 위한 효율적인 경로를 제시하고, 동일한 데이터셋에서 시각 사전 훈련이 텍스트 사전 훈련보다 일관되게 더 나은 결과를 보였어요.
이 연구는 언어 모델 사전 훈련에 시각 정보를 통합하는 것이 언어 지능을 향상시키는 데 중요한 역할을 한다는 것을 입증하며, 향후 언어 모델 개발 방향에 새로운 가능성을 제시해요.