연구진은 언어 모델의 숫자 신뢰도만으로는 신뢰성을 확립할 수 없다는 점을 지적하며, 언어 모델 응답 확률을 의미적 상태 확률로 연결하는 '의미적 지도'를 제안했어요.
의미적 지도는 사전 정의된 테스트 가능한 연결고리로서, 제한된 값의 잠재 상태에 대한 반준파라메트릭 추론으로 공식화돼요. 이를 통해 언어 모델 확률이 프롬프트의 어휘 형태에 의존하는 문제를 해결하고, 정보가 동등한 재구문에서도 안정적인 추론을 가능하게 해요.
연구 결과, 연방준비제 경제 및 금융 시리즈에서 수집한 전문 시장 텍스트와 제어된 시뮬레이션에서 언어 확률이 기존 숫자 확률보다 성능이 우수했으며, 유효한 불확실성 커버리지를 회복하고 재구문에 크게 안정적이었어요.
본 연구는 프롬프트 엔지니어링이 단어 선택에 의존하는 응답을 최적화하는 반면, 과학적 및 전문적 사용에는 관련 의미의 안정성이 필요하다는 점을 시사하며, 이를 테스트 가능한 통계적 문제로 전환하고 감사 가능한 사후 추정치를 제공해요.