LLM 함수 호출 오류는 자금 이체나 데이터 삭제 등 되돌릴 수 없는 상황에서 심각한 결과를 초래할 수 있습니다. LLM이 함수 호출을 정확하게 수행할지 확신하는 정도를 파악하는 것이 중요합니다. 불확실성 정량화(UQ) 방법은 LLM의 함수 호출 정확도를 측정하는 데 사용될 수 있습니다.
본 논문에서는 LLM 함수 호출의 불확실성을 정량화하는 새로운 방법을 제시합니다. 제안하는 방법은 LLM의 예측과 실제 결과 간의 불일치를 분석하여 불확실성을 추정합니다. 이를 통해 LLM의 함수 호출 오류를 줄이고 안전성을 높일 수 있습니다.
연구 결과, 제안하는 방법은 기존 UQ 방법보다 LLM 함수 호출의 불확실성을 더 정확하게 추정할 수 있음을 확인했습니다. 이는 LLM을 활용한 자율 시스템의 안전성과 신뢰성을 향상시키는 데 기여할 것으로 기대됩니다.