오픈 소스 생성 AI 모델의 확산으로 데이터 센터를 넘어 물리 세계에서 작동하는 기기로의 배포가 증가하고 있습니다. NVIDIA Jetson 장치에서 더 큰 모델을 실행하기 위해 모델 크기를 줄이고 메모리 사용량을 최적화하는 다양한 기술이 활용됩니다. 양자화, 가지치기, 지식 증류 등의 기술을 통해 모델의 성능 저하를 최소화하면서 메모리 효율을 높일 수 있습니다.