연구자가 RTX 5090과 RTX 3090 GPU를 함께 사용하여 LLM 성능을 개선하는 방법을 개발했어요. 기존 방식은 GPU 간 성능 차이로 인해 병목 현상이 발생했지만, 새로운 방식은 GPU 가중치를 조정하고 레이어 분할 방향을 변경하여 이를 해결했어요.
새로운 방식은 GPU의 컴퓨팅 성능을 고려하여 레이어를 분배하고, 가장 강력한 GPU에 출력 레이어를 우선 배치하여 성능을 최적화해요. 또한, FFN(Feed Forward Network) 레이어를 약한 GPU로 이동시켜 VRAM 활용도를 높여요.
새로운 방법은 기존 방식보다 빠르며, RTX 5090의 성능을 최대한 활용하고 RTX 3090의 VRAM을 효율적으로 사용할 수 있도록 설계되었어요. 이러한 개선은 GPU 성능을 최대한 활용하고 싶어하는 사용자에게 유용할 것으로 기대돼요.