연구진은 LLM의 환각 현상을 줄이기 위한 불확실성 측정 기법인 SemGrad를 제안했습니다. SemGrad는 샘플링 방식이 아닌 그래디언트 기반으로, 기존 방식보다 계산 비용과 분산이 낮습니다. 이 방법은 의미 공간에서의 그래디언트를 활용하며, Semantic Preservation Score(SPS)를 통해 의미를 가장 잘 포착하는 임베딩을 식별합니다.
SemGrad와 파라미터 그래디언트를 결합한 HybridGrad는 기존 불확실성 측정 방법보다 성능이 우수하며, 특히 여러 개의 유효한 답변이 가능한 상황에서 효과적입니다. 연구는 다양한 실험을 통해 SemGrad와 HybridGrad가 효율적이고 효과적인 불확실성 추정치를 제공함을 입증했습니다.
SemGrad는 기존 샘플링 기반 방식의 한계를 극복하고, LLM의 신뢰성을 높이는 데 기여할 것으로 기대됩니다.