GPT-2 Small 모델의 토큰 임베딩 공간에서 'Trump' 토큰 주변을 시각화했어요. 이산화 처리 시 일반적인 정치 용어들이 최근접 이웃으로 나타났어요. 연속적인 좌표를 사용하면 오바마, 클린턴, 부시, 아이젠하워 등 가족, 스태프, 경쟁자, 대통령들이 최근접 이웃으로 나타났어요.
이 시각화는 어떠한 프롬프트나 텍스트 생성 과정 없이 GPT-2 Small의 학습된 토큰 임베딩에서 직접 얻은 결과예요. 'Trump' 토큰의 최근접 이웃은 처리 방식에 따라 매우 다른 결과를 보여줘요.