사용자가 2x3090 환경에서 vLLM 실행 중 장치 기능 8.6 미지원 오류를 겪고 있어요. 오류 원인은 vLLM 코드 내 하드코딩된 장치 기능 화이트리스트에 Ampere 아키텍처(RTX 3090)가 누락되었기 때문이에요. 사용자는 환경 변수 설정으로 문제를 우회하거나, 장치 기능 지원 추가 및 벤치마크를 통해 근본적인 해결을 제안했어요.
vLLM 코드에서 SYMM_MEM_ALL_REDUCE_MAX_SIZES 딕셔너리에 CC '9.0'(Hopper/H100), '10.0'(Blackwell/B100), '10.3'(Blackwell/GB200)만 등록되어 있어 RTX 3090의 장치 기능 8.6이 인식되지 않는 문제 발생해요. 사용자는 이 문제를 해결하기 위해 vLLM 기능을 비활성화하거나, 코드 수정 및 벤치마크를 통해 근본적인 해결을 제안했어요.
사용자는 vLLM의 symmetric memory 기능이 Ampere 하드웨어에서 작동하지 않을 수 있으며, 환경 변수를 통해 기능을 비활성화하거나, 코드 변경을 통해 더 관대한 검사를 수행할 수 있다고 분석했어요. 가장 실용적인 해결책은 환경 변수를 통해 기능을 비활성화하는 것이며, 장기적인 해결을 위해서는 실제 벤치마크 데이터가 필요해요.