스마트워치, 스마트글래스와 같은 엣지 기기에서 초소형 언어 모델을 구동하기 어려워, 마이크로 언어 모델(μLM)을 통해 즉각적인 응답을 제공하는 방안을 제시했어요.
μLM은 800만~3000만 파라미터 규모로, 엣지 기기에서 응답의 첫 4~8 단어를 생성하고 클라우드 모델이 나머지 부분을 완성하여 클라우드 지연 시간을 숨겨요.
연구 결과, μLM은 기존 7000만~2억 5600만 파라미터 모델과 유사한 성능을 보이며, 자원 제약적인 환경에서도 응답형 AI를 가능하게 해요.