연구진은 객체 결합 문제를 정보 이론적 접근 방식으로 형식화하고, 모델 표현에서 결합 정보를 측정하는 방법을 제시했어요. 비전 트랜스포머(ViT)의 다양한 구성 요소에서 결합 정보를 측정하여, 특징 공유, 가려짐, 자연스러운 특징 등 다양한 결합 과제를 가진 데이터셋을 활용했어요. 연구 결과, 결합은 강력한 시각적 인식과 추론의 핵심 요소로 나타났어요.
ViT 기반 아키텍처는 특징을 잘못 객체에 할당하는 경우가 많아, 결합 정보가 많지 않을 수 있다는 가설이 있었지만, 본 연구는 이를 반증했어요. 결합 정보는 시각적 장면에서 여러 객체를 이해하는 데 필요한 정보로, 어떤 특징들이 함께 속하는지 알려주는 역할을 해요. 연구진은 이미지 요약 토큰이나 공간 토큰 등 ViT의 다양한 구성 요소에서 결합 정보를 측정했어요.
연구 결과, 결합은 시각적 인식과 추론 능력에 중요한 역할을 하며, ViT의 다양한 구성 요소에서 결합 정보를 측정하는 방법을 통해 결합 정보의 존재를 확인했어요. 특징 공유, 가려짐, 자연스러운 특징 등 다양한 결합 과제를 가진 데이터셋을 활용하여 ViT의 성능을 비교 분석했어요.