연구진은 비전 모델의 해석 가능성을 향상시키기 위해 pointwise feature vector(PFV)와 effective receptive field(iERF)를 중심으로 하는 새로운 프레임워크를 제안했습니다. 이 프레임워크는 로컬, 글로벌, 메커니즘적 해석 가능성을 통합하여 모델의 작동 방식을 보다 명확하게 보여줍니다.
Sharing Ratio Decomposition(SRD)을 통해 각 PFV를 상위 PFV의 혼합으로 표현하고, Concept-Anchored Feature Explanation(CAFE)을 통해 추상적인 잠재 벡터를 픽셀 단위의 증거와 연결하여 글로벌 관점을 제공합니다.
Interlayer Concept Graph with Interlayer Concept Attribution(ICAT)는 깊이 방향으로 표현이 어떻게 구성되는지 분석하며, 실험 결과 ResNet50, VGG16, ViTs에서 기존 방법보다 우수한 성능을 보였습니다.