엔비디아가 하이브리드 맘바-트랜스포머 아키텍처 기반의 '네모트론-랩스-3-퍼즐-75B-A9B' 모델을 공개했어요. 이 모델은 서버 처리량을 최대 4.6배 향상시키고 고성능 GPU 한 대로 초장문맥 요청을 처리할 수 있어요.
기존 네모트론-3-슈퍼 모델을 750억 매개변수로 압축하면서 성능 저하 없이 추론 효율을 높였으며, 거대 모델 운영 비용을 절반으로 줄일 수 있어요.
엔비디아는 이 모델을 통해 LLM 배포와 추론 과정의 인프라 비용 문제를 해결하고, 더 많은 사용자가 LLM을 활용할 수 있도록 지원할 계획이에요.