소프트웨어 엔지니어가 LLM의 작동 원리를 이해하기 위해 트랜스포머 모델을 직접 구현하는 프로젝트를 진행했어요. 6단어 어휘, 3차원 임베딩으로 줄인 모델은 모든 숫자가 화면에 표시되고 가중치를 편집할 수 있도록 설계됐어요. 모델은 단어 벡터, Q/K/V, 어텐션 스코어 등 전체 과정을 시각적으로 보여주며, 가중치를 무작위로 변경하면 예측이 엉뚱해지는 것을 확인할 수 있어요.