연구진은 LLM의 다중 턴 대화 환경에서의 성능 평가 및 예측이 중요하지만 계산 비용이 많이 든다는 문제점을 지적하며, 이를 해결하기 위해 동적 예산 할당 프레임워크 DAPRO를 새롭게 제안했습니다.
DAPRO는 이벤트 발생 시간(예: jailbreak)을 추정하는 데 필요한 반복 횟수에 대한 신뢰도 있는 하한 예측값을 제공하며, 기존 방식보다 더 효율적인 예산 할당이 가능합니다.
Llama 3.1 및 Qwen 2.5 모델을 활용한 실험 결과, DAPRO는 기존 방식보다 더 나은 커버리지와 낮은 분산을 달성하며 예산 제약 조건을 만족하는 것으로 나타났습니다.