LLM 기반 코딩 에이전트가 저장소의 시각적 구조를 활용하는 연구가 발표됐어요. 4가지 멀티모달 모델을 평가한 결과, 시각 정보만으로는 정확도가 떨어지고 토큰 비용이 증가했어요. 텍스트 인터페이스와 시각적 그래프를 함께 활용하면 토큰 사용량을 최대 26% 줄이면서 정확도를 유지하거나 향상시킬 수 있어요.
결과적으로, LLM 에이전트는 폴더 계층 구조와 의존성 관계 같은 시각적 정보를 효율적으로 이해하는 데 도움을 받을 수 있어요. 특히 오류 위치 파악 및 탐색 깊이 조절 시 시각화가 유용했어요.
본 연구는 차세대 코딩 에이전트의 하이브리드 텍스트-비전 디자인 가능성을 제시합니다.