llama.cpp CUDA 코드에서 P100 GPU(sm_60)의 fp16 연산 오류가 발견돼 수정됐습니다. 이 오류는 P100 GPU가 fp16 연산을 수행하도록 하는 플래그로, GTX 10 시리즈와 P40 GPU는 예외였으나 P100은 적용돼 성능 저하를 야기했습니다.
수정 결과, Qwen3.6-27B 모델에서 KL divergence는 약 2300배 감소하고, top-token agreement는 96.5%에서 99.9%로 향상했습니다. 실제 성능 측정에서는 prefill은 동일하고 decode는 약 1.4% 더 빨라지는 효과를 보였습니다.
현재 P100 GPU는 80달러에 판매되고 있으며, 수정으로 인해 성능 향상 가능성이 확인되었습니다. 이 오류는 Fable 5를 P/ReAct/R 에이전트 루프를 통해 테스트하는 과정에서 발견됐습니다.