연구진은 기존 침입 탐지 연구의 문제점을 지적하며, CIC-IDS2017 데이터셋을 시간적 침입 탐지 과제로 재구성했어요. Transformer 모델은 패딩 방식에 따라 성능이 크게 달라지며, 패딩 없이 순수한 시퀀스 데이터에서는 가장 높은 매크로 F1 점수(0.89)를 달성했어요. 누수 없는 그룹 평가에서는 Random Forest 모델이 가장 안정적이었으며, Transformer 모델의 오탐율이 67배 증가했어요.
기존 연구에서 보고된 성능 향상이 실제 시퀀스 모델링 능력에서 비롯된 것인지 확인하기 위해, 다양한 아키텍처를 여러 분할 방식으로 평가했어요. 패딩 방식과 분할 프로토콜이 아키텍처 선택보다 성능에 더 큰 영향을 미치는 것을 확인했어요. 특히, 반복 마지막 패딩을 사용하는 기존 방식은 모델의 강건성을 최대 0.24 매크로 F1만큼 과대평가할 수 있어요.
연구진은 누수 없는 분할, 명시적인 패딩 공개, 시퀀스 인지 벤치마킹을 향후 IDS 연구의 표준 관행으로 권장하며, 관련 코드와 구현 세부 사항은 GitHub에서 확인할 수 있어요.