연구진은 LLM을 활용한 자동화된 취약점 탐지에 있어 인간의 판단을 흐리는 인지적 휴리스틱과 동일한 취약점을 발견했습니다.
본 연구에서는 헤일로 효과, 프레임 효과, 앵커링 효과 등 3가지 인지적 휴리스틱을 유발하는 통제된 프레임워크를 통해 LLM 기반 코드 취약점 탐지의 영향을 체계적으로 분석했습니다.
8개의 LLM 모델이 모든 인지적 휴리스틱에 취약하며, 특히 프레임 효과(33.2%)에 가장 큰 영향을 받는다는 결과가 나왔고, 이는 실제 취약점을 정확히 식별하지 못하고 판단을 변경하는 경우도 발생합니다.
본 연구는 LLM 기반 취약점 탐지의 인지적 취약성이 일관적이고 악용 가능하며, 최대 97%의 기존 취약점 탐지를 억제하는 공격도 가능함을 보여줍니다.