연구진은 기존 REST API 테스트 도구의 평가 지표가 LLM 기반 테스트 생성의 효과성을 제대로 반영하지 못한다는 문제점을 지적했어요.
RESTestBench는 자연어 요구사항의 명확성 정도를 조절할 수 있는 REST 서비스와 테스트 케이스로 구성되어 있으며, 요구사항 기반 변이 테스트를 통해 테스트 케이스의 효과성을 측정하는 새로운 지표를 제시했어요.
실제 시스템과의 상호작용을 통한 개선 실험 결과, 요구사항의 상세도가 높을 때는 시스템 동작 정보를 활용하는 것이 오히려 테스트 효과를 떨어뜨릴 수 있음을 확인했어요.