이 논문은 현대 신경망의 내부 알고리즘을 역설계하는 신흥 분야인 메커니즘 해석 가능성에 대한 종합적인 개요를 제공합니다. 기존 설명 가능한 AI 방법은 입력-출력 상관관계에 그치지만, 이 접근 방식은 머신러닝 모델의 불투명한 '블랙 박스' 특성을 직접 해결합니다. 트랜스포머 회로 분석을 자세히 살펴보고, 잔차 스트림, 어텐션 메커니즘, 유도 헤드 등이 복잡한 작업과 문맥 내 학습을 어떻게 주도하는지 분석합니다.
희소 자동 인코더(SAE) 및 트랜스코더와 같은 도구를 사용하여 얽힌 네트워크 활성화를 명확하고 사람이 해석할 수 있는 특징으로 분해하는 방법을 보여줍니다. 또한, 조향 벡터 및 인과적 개입을 통해 모델 동작을 적극적으로 제어하고 수정하는 방법도 살펴봅니다.
이러한 메커니즘적 통찰력을 신경 상징 AI 프레임워크와 연결하여 신경 표현을 명시적이고 실행 가능한 논리 규칙으로 변환하는 방법을 제시합니다.