ESP32-S3 마이크로컨트롤러에서 2890만 매개변수 언어 모델을 실행해 작은 화면에 텍스트를 출력했어요. 전체 매개변수의 상당 부분을 느린 플래시에 두고, 토큰당 필요한 데이터만 읽는 방식으로 구현했어요. 이 방식은 서버 연결 없이도 LLM을 활용할 수 있는 가능성을 보여줘요.
Per-Layer Embeddings 기법을 활용해 토큰당 450바이트만 읽어들여, 8달러짜리 마이크로컨트롤러에서도 LLM을 구동할 수 있었어요. 약 초당 9개 토큰의 텍스트 출력 속도를 보여줘요.
이 방식은 서버 연결 없이도 LLM을 활용할 수 있는 가능성을 보여주며, 임베디드 시스템에서의 LLM 활용을 위한 새로운 길을 열어줄 수 있을 것으로 기대돼요.