연구진은 LLM API 가용성 보장에도 대화 연속성이 유지되지 않는 문제점을 지적했어요. 이를 해결하기 위해 Conversation Preservation Rate (CPR)와 Continuity Latency Overhead (CLO)라는 새로운 지표를 제시했어요. 상태를 유지하는 멀티 프로바이더 프록시 아키텍처를 제안하여, LLM 엔드포인트 장애 시 대화 상태를 재구성해 대화 연속성을 확보했어요.
ContinuityBench라는 오픈 소스 평가 도구를 공개하여, 고병렬 환경에서 컨텍스트 보존을 테스트할 수 있도록 지원해요. 실험 결과, 제안하는 프록시는 99.20%의 CPR을 달성하여 기존 방식보다 훨씬 높은 연속성 유지율을 보였어요. 이는 대화 맥락을 손실 없이 백업 프로바이더로 전달하는 것을 의미해요.
연구 결과는 LLM 추론 시스템의 안정성을 높이는 데 필요한 기반 지식을 제공하며, 특히 strict-limit 백업 API에 대한 비동기 지수 백오프 전략의 중요성을 강조해요.