연구진이 SEC 8-K 파일에서 세 단계로 구성된 119개 이벤트 유형 분류 체계를 활용해 미세 조정된 이벤트 추출 시스템을 개발했어요. 이 시스템은 각 태그를 원본 인용구와 연결하고 신뢰도를 평가하는 두 단계로 구성돼요. 2022년부터 2026년까지 292,984건의 파일을 분석한 결과 601,088개의 이벤트 태그가 생성됐으며, 이 데이터셋은 공개될 예정이에요.
LLM 심사 결과 품질 점수가 높을수록 정밀도가 상승하고, 품질 점수가 낮은 태그는 거의 사라지는 것으로 나타났어요. 두 번째 단계에서 품질 점수를 평가하는 과정이 중요하며, 이 과정을 생략하면 점수 교정이 어렵다는 것을 확인했어요.
이 분류 체계는 경제적으로 구별되는 이벤트를 식별하는 데 효과적이며, 언어 모델 없이도 비정상 수익률을 분석하는 데 활용될 수 있어요.