연구진이 시각 증거(스크린샷, 오류 대화 상자 등)를 활용한 멀티모달 이슈 위치 추적 벤치마크 MM-IssueLoc을 공개했어요. MM-IssueLoc은 23개 언어의 652개 이슈-PR 인스턴스를 포함하며, 이미지 카테고리 및 관련성 수준에 대한 주석이 달려 있어요. 파일 및 함수 수준의 골드 라벨을 제공하며, 텍스트 기반과 이미지 기반 평가를 병행해요.
기존 시스템은 멀티모달 이슈 위치 추적에서 신뢰성이 떨어지는 것으로 나타났으며, 파일 정확도 5위 38.96%, 함수 정확도 10위 22.45%를 기록했어요. 텍스트 중심 SWE 벤치마크의 높은 위치 추적 점수가 멀티모달 이슈 위치 추적으로 잘 이전되지 않는다는 점도 확인됐어요.
MM-IssueLoc은 시각 증거를 명시적인 평가 변수로 전환하여, 향후 연구에서 시스템이 시각 증거를 활용하여 위치 추적 성능을 개선하는지 평가할 수 있도록 지원할 예정이에요.