사용자가 벡터 검색의 맥락 손실과 API 비용 증가 문제 해결을 위해 OKF 컴파일러를 구축했어요. OKF는 PDF/Docs/Excel 파일을 Google의 OKF 형식으로 미리 컴파일하여 추론을 진행하는 방식이에요. MD5 캐싱을 통해 정적 파일의 LLM API 비용을 0원으로 줄일 수 있어요.
현재 파이프라인 아키텍처에 문제가 있어, 특히 헤더 없는 대규모 테이블이 중간에 잘려 LLM이 열화된 성능을 보이는 상황이에요. 분할 시 동적으로 헤더를 주입하거나 행을 평문으로 펼치는 방법 등 해결책을 찾고 있어요.
OKF 컴파일러는 GitHub에서 공개되어 있으며, 캐싱 로직을 가져가거나 아키텍처에 대한 피드백을 환영해요.