TypeProbe는 사전 훈련된 코드 모델의 잔차 스트림을 조사하여 내부 타입 표현을 분석하는 연구입니다. Java와 Python 코드를 활용해 언어 간 타입 표현이 비타입 코드에서도 나타남을 확인했어요. 모델의 숨겨진 상태가 타입 정보를 선형적으로 인코딩하는지 테스트해 다른 언어에서 인자 및 결과 타입을 추론하는 데 활용 가능성을 확인했습니다.
연구 결과는 코드 모델의 해석 가능성을 높이는 데 기여할 수 있습니다. 코드와 데이터셋은 공개되어 있습니다.