개인 개발자 nkthebass가 2억 1650만 파라미터 규모의 SLM TinyBrainBot을 공개했어요. 이 모델은 10개의 레이어로 구성되어 있으며, 768 길이의 컨텍스트를 지원합니다.
TinyBrainBot은 Wikipedia, TinyStories, OpenWebText2 등의 공개 영어 텍스트 데이터로 사전 학습하고, SmolTalk, UltraChat 등의 instruction/chat 데이터셋으로 SFT(Supervised Fine-Tuning)를 거쳤어요. 학습 시간은 약 15시간이 소요됐으며, 단일 NVIDIA RTX 3080 GPU를 사용했어요.
개발자는 토크나이저의 중요성, GGUF 내보내기 문제, 데이터셋 규모 및 믹스, 사실 오류 감소 방법 등 다양한 측면에서 피드백을 요청하며, 모델 링크를 Hugging Face에 공유했어요.