Gowrav Vishwakarma가 트랜스포머와 맘바 아키텍처를 대체하는 QLLM 모델을 공개했어요. 이 모델은 10년 이상 연구한 결과물이며, 기존 LLM의 높은 비용 문제를 해결하는 데 목표를 뒀어요. QLLM은 100만 파라미터로 작지만 GPT-2 수준의 성능을 보이며, KV 캐시가 없어 긴 텍스트 처리에도 유리해요. 모델 코드와 테스트 결과는 GitHub와 Hugging Face에서 확인할 수 있어요.
QLLM은 페이즈 연관성을 기반으로 설계되어 음성 모델에도 적합할 가능성이 있으며, 초기 훈련은 DCLM, Fineweb, Smoltalk2 데이터셋을 활용했어요. 현재는 간단한 SFT를 거쳤으며, 향후 더 많은 데이터로 훈련될 예정이에요. 연구 결과는 arXiv에 공개되었으며, GitHub에서 관련 코드를 확인할 수 있어요.
QLLM은 GPU 작업과 수학적 연구를 통해 개발되었으며, 작은 크기에도 불구하고 GPT-2 수준의 성능을 보여주는 POC(Proof of Concept) 모델이에요. GitHub 스타를 부탁하며, AI 슬롭으로 치부하지 말고 코드를 직접 확인해달라는 요청이 담겨 있어요.