Syntropy AI Labs가 Nanotron의 의존성 문제를 해결하기 위해 Picotron 프레임워크를 개발했어요. Picotron은 GPU 특정 의존성을 제거하여 T4, V100 같은 구형 GPU에서도 안정적인 LLM 학습을 지원해요. GQA, MLA, QK-Norm 등 최신 기술을 지원하며, MoE 준비 및 데이터셋 준비 편의성 향상이 로드맵에 포함돼 있어요.
Picotron은 PyTorch를 지원하는 GPU에서 FP16 또는 BF16으로 실행되며, FlashAttention-2가 설치된 경우 런타임에 자동으로 활용돼요. 기존 Nanotron의 문제점을 해결하고, 더 많은 사용자가 LLM 학습에 참여할 수 있도록 돕는 것을 목표로 합니다.
GitHub에서 Picotron 프로젝트를 확인할 수 있으며, CUDA 의존성 문제로 어려움을 겪는 사용자들에게 도움이 될 것으로 기대돼요.