연구진은 사이버 위협 인텔리전스(CTI) 보고서의 복잡한 언어와 다단계 공격 패턴을 이해하는 데 어려움을 겪는 기존 LLM의 한계를 극복하기 위해 오픈소스 LLM을 평가했어요.
연구진은 83개의 복잡한 CTI 보고서에서 2,076개의 문장으로 구성된 ground truth 데이터셋을 구축하고, 114개의 ATT&CK 기법으로 매핑하여 0.68의 inter-annotator agreement를 달성했어요.
평가 결과, 최고 성능 모델은 micro-averaged F1 점수가 0.22로 나타났으며, 파라미터 크기가 F1 점수와 통계적으로 유의미한 양의 상관관계를 보였고, 프롬프트 전략과 온도는 성능 향상에 영향을 미치지 않았어요.