AMD RX 6750 XT 사용자가 MoE 모델 파인튜닝을 위한 새로운 희소 파인튜닝 방법 'USAF'를 개발했어요. 기존 어댑터 방식 대신 전문가 가중치와 라우터만 학습하여 12GB GPU에서도 Qwen3-30B-A3B 파인튜닝 가능합니다. 프로젝트는 Apache 2.0 라이선스로 공개되었으며, 상업적 목적 없이 공유하는 것을 목표로 합니다.
USAF 프로젝트는 MoE 모델의 전문가 가중치와 라우터만 학습하는 방식으로, GPU 메모리 제약이 있는 환경에서도 파인튜닝을 가능하게 합니다. AMD RX 6750 XT에서 Qwen3-30B-A3B 모델을 파인튜닝하는 데 성공했습니다. GitHub에서 프로젝트 코드를 확인할 수 있습니다.
개발자는 USAF 프로젝트에 대한 피드백을 환영하며, 특히 MoE 모델을 다루는 사람들의 의견을 기대하고 있습니다. 프로젝트는 상업적 목적 없이 오픈 소스로 공개되어 누구나 자유롭게 사용하고 기여할 수 있습니다.