에이전트 개발자가 140개 이상의 도구를 사용하는 고객 프로젝트에서 시맨틱 임베딩 기반 도구 선택 방식의 문제점을 발견했어요. 도구 설명이 짧고 구조적으로 유사하여 쿼리와 관련 없는 도구가 우선순위로 선택되는 현상이 발생했어요.
BM25 방식은 시맨틱 임베딩 방식보다 81%의 정확도를 기록하며, 오탐 시에도 텍스트 수정으로 해결 가능한 경우가 많았어요. 하이브리드 방식은 오히려 BM25의 정확도를 떨어뜨렸어요.
도구 선택 시 도구 이름, 설명, 스키마 필드 정보를 함께 인덱싱하는 것이 중요하며, 도구 데이터의 특성을 고려하여 시맨틱 임베딩 적용 여부를 결정해야 합니다.