사용자가 GPT-2 어휘를 하이퍼볼릭 트리로 시각화하는 프로젝트를 공개했어요. 32,070개의 토큰을 포앙카레 볼 안에 담아 탐험할 수 있습니다.
프로젝트는 GPT-2-small의 원시 토큰 임베딩 데이터를 사용하며, 트리 구조가 자연스럽게 들어맞는 하이퍼볼릭 공간에 배치돼요.
사용자는 스마트폰에서 이 프로젝트를 실행하여 회전, 확대/축소, 토큰 탭을 통해 탐색할 수 있으며, 하이퍼볼릭 기하학적 이동 방식을 활용해요.
프로젝트는 최적화나 훈련 없이 데이터의 구조를 그대로 반영하며, 일반적인 토큰, 동물, 요일, 인물 간의 관계를 시각적으로 탐색할 수 있습니다.