연구진은 장면 그래프 생성 모델의 성능 저하 문제를 해결하기 위해 시각적 상식 기반 지식 정제 프레임워크를 제안했어요. 이 프레임워크는 학습 데이터에서 상식 기반 제약 조건을 추출하고, 추론 시 장면 그래프 생성 예측을 수정하고 개선해요. 수동 규칙 작성이나 모델 재학습 없이 다양한 데이터셋과 아키텍처에 적용 가능해요.
세 가지 표준 벤치마크에서 기존 모델보다 성능이 향상되었으며, 깊은 장면 의미론에 대한 구조화된 시각적 상식 추론이 학습 기반 장면 그래프 생성에 효과적이라는 것을 입증했어요. 공간적, 기능적, 질적 관계의 규칙성을 포착하여 장면 그래프 생성의 신뢰성을 높였어요.
이 프레임워크는 모델에 구애받지 않으며, 기존 학습 데이터에서 상식 기반 제약 조건을 추출하여 장면 그래프 생성 예측을 개선하는 방식으로 작동해요.