연구진은 자연어 문장의 잠재적 사실 구조를 파악하는 자기 지도 학습 프레임워크인 Sentence Splitter를 소개했어요.
Sentence Splitter는 문장을 서술부(head)와 사실적 완성부(tail)로 분리하는 문제를 이산적 분할 문제로 정의하고, T5 기반 인코더-디코더 아키텍처를 사용해요.
연구 결과, 구조 인식적 자기 지도 학습은 지식 그래프 완성 및 상식 추론 질문 응답과 같은 지식 중심 NLP의 성능을 향상시키는 것으로 나타났어요.