연구진은 LLM의 잠재 능력과 일관된 활성화 간의 격차를 확인하고, 구조적 사전(cheatsheet)이 합성 데이터 성능을 크게 향상시키지만 OOD 데이터에서는 성능이 저하되는 현상을 코드 보안 취약점 탐지에서도 재현했습니다.
GPT-OSS-120B, Llama-3.3-70B, Gemma-4-31B 모델을 활용하여 CWE-798, CWE-284, N+1 패턴 등 다양한 취약점 카테고리에서 실험을 진행하고, VUDENC 데이터로 성능을 검증했습니다.
실험 결과, 구조적 사전은 의미론적 취약점의 재현율을 20.0%에서 100.0%로 향상시켰지만, 실제 CVE 데이터에서는 성능이 크게 저하되었으며, 반복적인 재조정 과정은 오히려 성능을 악화시키는 결과를 보였습니다.