연구진이 LLM을 활용한 이커머스 속성 추출 합성 라벨링 벤치마크 'SynthAVE'를 발표했어요. 12,726개 제품, 792개 속성, 4개 언어를 포함하며, 총 229개 제품 유형을 다룹니다. LLM 검증을 위해 21개의 LLM 조합을 활용한 'LLM 아레나' 프레임워크를 도입하여, 인간 전문가와 95.2%의 일치도를 보였어요.
SynthAVE는 7개 모델 패밀리와 3가지 프롬프트를 조합한 21개 LLM 아레나를 통해 합성 라벨의 품질을 검증하며, 모델 간 일치도(Fleiss' κ= 0.76)가 높게 나타났습니다. 이는 다양한 LLM의 판단을 종합하면 인간 검수 수준의 신뢰성을 확보할 수 있음을 의미합니다. 이 기술은 대규모 라벨링 비용을 절감하면서도 품질을 유지하는 데 기여할 수 있습니다.