연구자가 인셉션v1 모델의 1x1 컨볼루션 뉴런을 분리하고 분석하는 메커니즘 해석 가능성 연구를 진행했어요.
핵심 아이디어는 뉴런이 감지하는 패턴을 클러스터링하기 위해 수용 영역과 뉴런 가중치의 하다마드 곱을 활용하는 것인데, 이를 통해 자동차, 고양이, 개 등 의미 있는 클러스터가 생성됐어요.
저평가 클러스터(예: 문자)의 경우, 관련 뉴런들이 동일한 개념에 반응하고 양/음 가중치가 균등하게 분포하는 현상을 발견했는데, 이는 경사 하강법이 패턴과 개념을 노이즈 범위에 배치하는 증거로 해석돼요.
연구 결과는 GitHub 페이지에서 확인할 수 있으며, 피드백을 환영하며 메커니즘 해석 가능성 연구에 관심 있는 사람들의 참여를 독려하고 있어요.