연구진은 LLM·MLLM의 추론 과정을 이미지로 대체하는 '광학적 추론' 방식을 제안했어요. 광학적 추론은 타이포그래피 기반과 그래픽 기반 두 가지 방식으로 구현되었으며, 텍스트 기반 추론보다 토큰 사용량을 줄이면서도 성능을 향상시켰어요. 수학, 과학, 멀티모달 추론 벤치마크에서 기존 방식 대비 최대 1.96배의 토큰 효율성을 달성했어요.
타이포그래피 기반 방식은 시각적 레이아웃을 최적화하여 간결한 근거 렌더링을, 그래픽 기반 방식은 텍스트와 그래픽 요소를 구조화된 시각적 근거로 구성해요. 이미지 기반 추론은 텍스트 기반 추론의 한계를 극복하고 효율적인 추론 환경을 제공할 수 있음을 보여줬어요.
연구 결과는 이미지만으로도 언어 및 멀티모달 작업의 추론 과정을 효과적으로 표현하고 효율적으로 전달할 수 있음을 시사하며, 이미지 기반 추론의 가능성을 열었습니다.