연구에서 CVE(Common Vulnerabilities and Exposures)에 CWE(Common Weakness Enumeration) 카테고리를 할당하는 작업을 텍스트 분류 문제로 다뤄봤어요. BERT, SecureBERT, CySecBERT 세 가지 트랜스포머 인코더를 활용해 멀티클래스(단일 CWE 예측)와 멀티라벨(다중 CWE 예측) 방식을 비교했답니다.
멀티클래스 방식이 모든 환경에서 더 높은 매크로 F1 점수를 기록했지만, CWE 클래스 수가 줄어들수록 멀티라벨 방식과의 격차가 21%에서 2%로 좁혀졌어요. 멀티라벨 방식의 임계값 최적화를 통해 25개 클래스 환경에서 이 격차를 좁힐 수 있었어요.
오류 분석 결과, CWE 계층 구조가 인코더 선택보다 오류 구조에 더 큰 영향을 미치는 것으로 나타났으며, 계층 구조를 완화한 평가에서는 매크로 F1 점수가 81%에서 90%로 향상됐어요. CySecBERT가 전반적으로 가장 좋은 성능을 보였고, 특히 멀티라벨 환경에서 통계적으로 유의미한 향상을 기록했답니다.