연구팀은 시각적 Grounding 모델 학습 시 IoU(Intersection over Union) 정보를 활용하는 IoUPD(IoU-Aware Privileged Distillation) 방법을 제안했어요. 기존 방식은 좌표 문자열의 토큰별 likelihood를 최적화하는 반면, 실제 Grounding 성능은 기하학적 겹침으로 측정된다는 문제점을 개선합니다.
IoUPD는 Ground-truth 박스를 좌표 목표뿐 아니라 학습 시 유용한 정보로 활용하며, 교사 모델은 box-marked 이미지와 해당 영역을 나타내는 augmented prompt를 사용합니다. 학생 모델은 지도 학습과 교사 모델의 신뢰도를 반영한 IoU 기반 distillation loss로 학습합니다.
실험 결과, IoUPD는 기존 coordinate-generating 방식보다 성능이 향상되었으며, Ground-truth 박스가 좌표 레이블 외에도 유용한 정보를 제공한다는 것을 입증했습니다.