연구진은 온라인 매핑 방법 평가의 한계로 순서 인식 부족과 낮은 세분화 수준을 지적했어요. 이를 해결하기 위해 개별 기하학적 요소 평가를 위한 순서 인식 메트릭 SOSPA를 제안했어요. 또한, 다중 인스턴스 평가를 위해 검출 품질과 기하학적 정확도를 함께 평가하는 PLD 메트릭을 제안하여 기존 mAP 방식의 한계를 극복했어요.
nuScenes 데이터셋 평가 결과, PLD는 MapTRv2, StreamMapNet, MapTracker 등 SOTA 방법의 순위를 효과적으로 반영했어요. 기존 mAP 방식으로는 파악하기 어려웠던 검출 능력의 중요성을 보여주는 성능 분석 결과를 제시했어요. 연구진은 평가 코드 공개를 통해 관련 연구 발전에 기여할 예정이에요.
기존 mAP 방식은 점의 순서에 대한 민감도가 낮고 기하학적 품질 평가의 세분화 수준이 낮아, 어떤 방법이 우수한지 정확하게 판단하기 어려웠어요. SOSPA와 PLD는 이러한 문제점을 해결하고 보다 정확하고 세분화된 평가를 가능하게 해요.