연구진이 텍스트 구조를 예측하여 LLM 워크로드 문제를 해결하는 LRF 게이트웨이를 제안했어요. 이는 유럽 특허청(EPO)의 엄격한 언어 규정으로 인한 문제를 해결하기 위함이에요.
LRF 게이트웨이는 텍스트 구조 벡터를 추출하고 XGBoost 예측기를 사용하여 트랩 밴드 멤버십을 예측하며, 예측 결과는 실시간 지연 데이터를 기반으로 계산된 동적 라우팅 임계값과 비교돼요.
실제 테스트에서 LRF 게이트웨이는 오분류율을 크게 줄이고, 엣지 GPU VRAM 사용량을 안전하게 제한했어요.
이 방법은 WAN 지연 변화에도 안정적으로 작동하며, 예측기는 AUROC 0.84의 성능을 보여줬어요.