연구진이 LLM 기반 텍스트 임베딩의 효율성과 이식성을 높이는 PromptEmbedder 프레임워크를 제안했어요. PromptEmbedder는 프롬프트 생성 LLM과 임베딩 LLM을 분리하여 새로운 아키텍처에 적응할 때 리트레이닝 비용을 줄여요. MTEB 벤치마크 평가 결과, LoRA 파인튜닝과 유사한 성능을 보이면서 GPU 메모리 사용량을 40% 줄이고 훈련 속도를 3.7배 향상시켰어요.
PromptEmbedder는 기존 방식과 달리 임베딩 지식을 특정 백본 가중치에 종속시키지 않고, 프롬프트 생성 LLM에 저장하여 새로운 아키텍처에 쉽게 적용할 수 있어요. 이를 통해 LLM 기반 표현 학습의 확장 가능하고 아키텍처에 구애받지 않는 패러다임을 구축했어요.
PromptEmbedder는 소프트 프롬프트를 통해 임베딩 지식을 전달하며, 새로운 아키텍처에 적응할 때 가중치 리트레이닝 대신 경량 선형 정렬 행렬만 재훈련하면 돼요.