연구진은 규제 산업 LLM 배포 시 준수 및 비용 효율성을 동시에 고려한 ComplianceGate 아키텍처를 제안했어요. 이 아키텍처는 쿼리 복잡도와 데이터 민감도를 평가하여 적절한 크기의 모델과 지리적 위치로 라우팅하는 분류기를 사용해요.
개인 식별 정보(PII)가 포함된 쿼리는 LLM 연산 시작 전에 로컬 엔드포인트로 라우팅되어 데이터 거주지 위반을 원천적으로 차단해요. 단순 쿼리는 소형 모델로 처리하여 비용을 절감할 수 있어요.
600개 쿼리 평가 결과, 중앙값 지연 시간은 39% 감소하고 비용은 33~52% 절감되었으며, 처리량은 초당 122~200 토큰으로 향상되었어요.
분류기는 99.2%의 정확도와 거의 완벽한 PII 재현율을 달성하며, 사전 분류를 통한 준수 설계 LLM 배포의 실용성을 입증했어요.