Reddit 사용자가 MI50 및 P40 GPU를 활용하여 550B Nemotron Ultra 모델을 구축하고, 구형 하드웨어에서도 높은 처리량을 기록했습니다.
MI50 환경은 7개 MI50 (112GB VRAM) 및 2개 MI50 (64GB VRAM)을 사용하며, P40 환경은 5개 P40 (120GB VRAM)을 사용합니다. 총 176GB VRAM을 확보했습니다.
벤치마크 결과, 컨텍스트 크기가 증가함에 따라 토큰 생성 속도가 감소하는 경향을 보였으며, 시작 명령어는 HIP_VISIBLE_DEVICES 및 다양한 파라미터를 포함합니다.