연구진은 LLM의 복잡한 의사 결정 과정을 이해하기 위해 새로운 해석 가능성 방법론인 SPEX와 ProxySPEX를 개발했어요. 이 방법론은 모델의 중요한 상호작용을 찾아내는 데 사용돼요.
SPEX는 신호 처리 및 코딩 이론을 활용하여 많은 후보 상호작용을 결합하고, 효율적인 디코딩 알고리즘을 통해 모델의 행동을 분리하는 방식으로 작동해요.
ProxySPEX는 모델의 계층적 구조를 활용하여 SPEX와 비슷한 성능을 내면서도 10배 적은 수의 실험으로도 가능하며, 다양한 해석 가능성 기법의 성능을 향상시키고 규모의 한계를 극복했어요.