연구진이 폐색 모델링을 위한 새로운 모듈 PEMOLA(Position Embedding Modulation with Occlusion-Level Attention)를 제안했어요. PEMOLA는 트랜스포머 기반 범패노픽 분할에 통합 가능하며, 폐색 분류기를 통해 폐색 수준 어텐션을 얻고 폐색 정보를 학습 가능한 임베딩으로 인코딩해요.
PEMOLA는 위치 임베딩을 조절하여 폐색 정보를 효과적으로 반영하고, COCO-OLAC 및 Cityscapes-OLAC 데이터셋에서 범패노픽 분할 품질을 향상시켰어요.
연구진은 Cityscapes 데이터셋에 폐색 수준을 추가로 주석하여 Cityscapes-OLAC을 만들고, PEMOLA의 교차 데이터셋 일반화 능력을 평가했어요. 코드와 데이터셋은 GitHub에서 확인할 수 있어요.