연구진은 기밀 유지, 규제 준수, 재현성 확보, 비용 절감 등의 이유로 온프레미스 서빙이 필요한 전력 시스템 분석에 LLM을 활용하는 과정에서 API 지식 경계 오류가 주요 원인임을 확인했어요.
PowerCodeBench 벤치마크 생성기, API 지식 프로파일 측정 절차, 경계 인식 개입 방식 등 세 가지 방법을 새롭게 제안하여 10개의 오픈 웨이트 LLM과 4개의 상용 API를 평가했어요.
개발된 개입 방식은 7B 파라미터 이상의 모든 오픈 웨이트 모델과 상용 API의 정확도를 32~56 포인트 향상시켰으며, 70B~120B 파라미터 범위의 오픈 웨이트 모델은 상용 API 수준의 정확도를 달성했어요.
타겟 프롬프트를 통해 전체 컨텍스트 정확도를 유지하면서도 프롬프트 토큰 비용의 41%만 사용해 온프레미스 LLM 지원의 신뢰성을 확보했어요.