연구진이 텍스트 기반 이미지 편집 조작 위치를 찾는 데 필요한 데이터 확보의 어려움을 해결하기 위해 SIGMA(Semantic-Difference Instruction-Grounding Mask Annotator)를 제안했어요.
SIGMA는 기존 이미지 편집 데이터에서 의미 차이 기반 마스크를 자동으로 생성하여 120만 개의 IML(Image Manipulation Localization) 학습 데이터셋을 구축했어요.
새로운 데이터셋을 활용하여 6가지 다양한 검출기 성능을 +18.34% 향상시켰으며, 모델에 구애받지 않고 활용 가능한 감독 데이터로 만들었어요.
연구진은 SIGMA의 전체 코드를 논문 승인 후 공개할 예정이에요.