NVIDIA Jetson AGX Orin 64GB 모델을 보유한 사용자가 최적의 활용 방안을 문의했어요. 해당 모델은 205GB/s의 메모리 대역폭과 64GB의 통합 메모리를 제공하며, 약 55GB가 사용 가능해요. 폐기된 장비에서 얻은 2개의 모델에 대한 활용 방안에 대한 질문입니다.
사용자는 LLM 모델이나 기타 AI 워크로드에 적합한 모델을 찾고 있으며, 높은 메모리 대역폭과 용량을 활용할 수 있는 방법을 모색 중이에요. Jetson AGX Orin의 성능을 최대한 활용할 수 있는 사용 사례를 찾는 것이 목표입니다.