연구진은 C 언어 검증 작업 500개를 활용한 평가 프레임워크를 구축하고 14개 모델을 평가했어요. 모델들은 대부분 속성을 확인하는 데는 능숙하지만, 속성 위반 감지는 프로그램 길이에 따라 성능이 저하되는 경향을 보였어요.
Soteria 심볼릭 실행 엔진을 활용해 생성된 3,000개의 버그 추적 데이터로 Qwen3-8B 모델을 추가 학습했어요. 이 과정에서 체인 오브 소트(Chain-of-Thought) 추론을 활용해 위반 감지를 17% 이상 향상시켰어요.
추적 데이터 학습과 체인 오브 소트 추론의 결합은 시너지 효과를 내며, 다양한 속성 유형에서 성능 향상을 보여줬고, 학습되지 않은 속성에도 개선 효과가 나타났어요.