연구진은 사전 학습 언어 모델 임베딩의 기하학적 구조가 해석 가능성과 안전성에 중요하다고 보고, 문장 분류 신호가 컨텍스트 토큰 임베딩의 리만 기하학에 존재하는지 조사했어요.
리만 평균 풀링(RMP) 기법을 통해 학습된 인코더의 분석적 야코비안으로부터 토큰별 풀백 메트릭을 추출하고 SPD 다양체에서 프레셰 평균을 사용해 집계하는 방식으로 실험했어요.
CoLA, CREAK, RTE 데이터셋에서 RMP는 유클리드 평균 풀링을 능가했지만, FEVER-Symmetric 데이터셋에서는 무작위 수준을 유지했어요.