연구진이 사전 학습 언어 모델의 지식 추출 성능을 예측하는 Maskability Index(MI)를 발표했어요. MI는 마스크 스타일 프롬프트와 접두사 스타일 프롬프트에 적합한 지식 관계를 정량적으로 측정하는 지표예요. ATOMIC2020 데이터셋을 활용한 실험에서 MI가 생성 성능과 양호한 상관관계를 보였어요.
MI는 사전 학습 언어 모델에서 관계 지식 추출을 위한 적절한 프롬프팅 템플릿과 적응 전략을 선택하는 데 도움을 줄 수 있어요. 연구 결과는 arXiv에 공개됐어요.
MI는 DepthRank 점수 차이를 기반으로 계산되며, 마스크와 비마스크 템플릿 간의 객관적인 정렬을 측정하는 원칙적인 방법으로 평가받고 있어요.