ChatImage는 긴 형식의 LLM 답변을 인터랙티브 시각 이미지로 변환하는 시스템입니다. 텍스트 답변을 구조화된 시각 모듈로 변환하고, 시각적 레이아웃을 계획하여 일관성 있는 이미지를 렌더링합니다. 사용자는 이미지 내 클릭 가능한 핫스팟을 통해 답변의 특정 부분을 검사하고 추가 질문을 할 수 있습니다.
ChatImage는 렌더링된 이미지에 LocateAnything, MiMo-Vision과 같은 비전 모델을 적용하여 상호 작용을 지원할 시각적 영역을 식별하고, SAM 스타일 마스크 개선을 통해 정확도를 높입니다. 핫스팟을 클릭하면 세부 정보 패널과 해당 영역에 대한 후속 스레드가 열립니다.
연구팀은 ChatImage의 구현체와 인포그래픽, 지도, 장면 기반 답변 형식을 다루는 30개의 질문 벤치마크를 공개했습니다. 평가 결과, 상호 작용 루프 완료, 시각적 정렬 게이트, SAM 기반 마스크 완전성 진단에서 우수한 성능을 보였습니다.