연구진이 다중 모드 LLM(MLLM)의 토큰 단위 생성 과정을 분석하는 OTaT(One Token at a Time) 방법을 제시했어요. 이미지, 텍스트, 지시, 이전 토큰에 대한 주의 변화를 추적하여 모델의 행동 패턴을 파악했어요.
실험 결과, 이미지 관련 정보가 필요한 토큰에서 이미지에 대한 주의가 최고조를 이루고, 지시 토큰은 작업 전환 시 재방문되며, 생성 과정이 진행될수록 이전 토큰에 대한 주의가 증가하는 패턴이 확인됐어요.
주의 패턴을 활용한 간단한 개입을 통해 다중 모드 작업 성능을 크게 향상시킬 수 있었으며, 주의 변화를 통해 모델의 행동을 프로파일링하고 문제점을 개선할 수 있음을 보여줬어요.