DECSELFMASK는 레이블이 없는 텍스트를 활용하여 디코더 전용 모델의 분류 성능을 향상시키는 새로운 방법입니다. 자체 관련성 기반 마스킹 전략을 통해 레이블이 없는 데이터에서 학습 예제를 생성하고, 모델이 이를 재구성하도록 훈련하여 성능을 개선합니다. 이탈리아 병원의 임상 노트 190만 건으로 구성된 데이터셋에서 136개 작업에 걸쳐 실험한 결과, 기존 방식보다 최대 19.9%의 성능 향상을 보였습니다.