새로운 연구에 따르면 word2vec은 언어 모델링 과정에서 무중량 최소 제곱 행렬 분해를 통해 작동하며, 학습된 표현은 PCA에 의해 결정됩니다.
word2vec은 학습 과정에서 순차적으로 '개념'이라는 선형 부분 공간을 하나씩 늘려나가며, 이는 새로운 수학 분야를 배우는 과정과 유사합니다.
연구진은 word2vec 학습 과정에서 발견되는 특징들이 코퍼스 통계 및 알고리즘 하이퍼파라미터로 정의되는 특정 타겟 행렬의 고유 벡터라는 것을 밝혀냈습니다.