연구진이 Linux 커널 취약점 데이터셋 CWE-Trace를 구축하여 LLM의 보안 추론 능력을 진단했어요. CWE-Trace는 834개의 수동으로 큐레이션된 Linux 커널 샘플로 구성되어 있으며, 데이터 오염이 LLM 성능에 미치는 영향이 미미하다는 결과를 보여줬어요. 모델의 방향성 편향이 우세하며, 미세 조정은 결정 정책을 바꾸지 않고 출력 임계값을 조정하는 것과 같다고 밝혔어요.
DeepSeek-R1 모델은 취약점 탐지에서 가장 약했지만, CWE 분류에서는 가장 큰 개선을 보이며 탐지 능력과 이해 능력은 분리되어 있음을 보여줬어요. 현재 LLM의 정확한 CWE 순위는 1.3% 미만으로, 시스템 소프트웨어에 대한 신뢰할 수 있는 보안 추론 능력이 부족하다는 결론을 내렸어요.
연구 결과는 LLM의 취약점 탐지 성능이 데이터 오염이나 미세 조정으로 쉽게 속을 수 있으며, 실제 보안 추론 능력은 제한적임을 시사해요.