연구팀은 LLM 추론 비용을 줄이기 위해 VecCISC 프레임워크를 제안했습니다. VecCISC는 의미적으로 유사한 추론 과정을 필터링하여 비평가 LLM 평가 횟수를 줄입니다. 5개의 데이터셋에서 실험 결과, VecCISC는 토큰 사용량을 47% 줄이면서 기존 CISC 성능을 유지하거나 능가했습니다.
Self-Consistency 기법을 확장한 CISC는 후보 답변의 신뢰도를 기반으로 가중치를 부여하여 정확도를 높이지만, 비평가 LLM 호출로 인해 비용이 증가하는 문제가 있었습니다. VecCISC는 이러한 비용 문제를 해결하기 위해 후보 답변의 추론 과정을 클러스터링하여 중복 평가를 줄입니다.
VecCISC는 수학, 화학, 생물학, 상식 추론, 인문학 등 다양한 분야의 5개 데이터셋에서 평가되었으며, 기존 CISC 대비 토큰 사용량 감소와 성능 향상이라는 두 가지 장점을 동시에 달성했습니다.