연구진은 대규모 언어 모델의 고차원 임베딩 저장 및 계산 비용 문제를 해결하기 위해 DIVE(차원 축소와 암시적 뷰 앙상블)라는 새로운 압축 방식을 제안했어요.
DIVE는 자체 제한 힌지 기반 triplet loss와 head-wise NT-Xent 대비 학습을 통해 희소한 triplet 신호의 문제를 보완하고 소규모 데이터셋에서도 뛰어난 성능을 낼 수 있도록 설계됐어요.
6개의 BEIR 데이터셋에서 DIVE는 기존 압축 방식보다 우수한 성능을 보였으며, 14M 파라미터 오픈소스 구현체로 제공돼요.