연구진은 딥러닝 모델의 어텐션 헤드를 사람이 이해할 수 있는 실행 가능한 프로그램으로 근사하는 방법을 제안했어요. 생성된 1,000개 미만의 프로그램은 GPT-2, TinyLlama-1.1B, Llama-3B 모델의 어텐션 패턴을 재현하며 TinyStories에서 평균 IoU 유사도 75% 이상을 달성했어요. 어텐션 헤드를 프로그래밍 방식으로 대체해도 모델 성능에 큰 영향을 미치지 않으며, 질문 답변 벤치마크에서 성능을 유지했어요.