InstanceControl은 인스턴스 레이블 없이 복잡한 다중 인스턴스 장면을 제어하는 새로운 방법입니다. 기존 방법의 한계를 극복하기 위해 Vision-Language Model(VLM)을 활용하여 텍스트 프롬프트와 시각적 조건 간의 인스턴스 수준 대응 관계를 설정합니다.
VLM은 텍스트 프롬프트에서 인스턴스 설명을 파싱하고 시각적 조건에 기반하여 인스턴스 마스크를 예측하며, 예측된 마스크의 노이즈를 줄이기 위해 적응형 마스크 정제 전략을 도입합니다.
실험 결과 InstanceControl은 기존 방법보다 우수한 성능을 보이며, 높은 충실도와 정확한 인스턴스 수준 제어를 달성했습니다.