연구진은 LLM의 임베딩 성능을 향상시키는 새로운 훈련 전략인 EPIC을 제안했습니다. EPIC은 기존 ICL 방식의 토큰 오버헤드를 줄이면서 고품질 임베딩을 생성하는 것을 목표로 합니다.
EPIC은 텍스트 데모를 연속적인 임베딩으로 대체하여 모델이 의미적으로 관련된 텍스트 쌍을 정렬하도록 유도하고, 데모 임베딩을 인컨텍스트 프롬프트의 일부로 해석하도록 합니다.
실험 결과, EPIC으로 훈련한 모델은 MTEB 벤치마크에서 최고 성능을 달성했으며, 인컨텍스트 프롬프트 유무에 관계없이 뛰어난 임베딩 성능을 보였습니다.