HackerRank의 오픈소스 ATS 채용 에이전트가 같은 이력서로도 점수가 66~99점까지 크게 달라지는 편차가 발견됐어요. 85점 컷오프 시 65%의 지원자가 탈락하는 결과가 나타났습니다. 이 도구는 PDF 이력서를 파싱하고 LLM을 6번 호출하여 지원자 정보를 구조화합니다.
같은 이력서와 동일한 명령으로 테스트를 반복했을 때 점수가 크게 변동하는 현상은 ATS의 공정성에 대한 의문을 제기합니다. HackerRank는 이 문제에 대한 추가적인 검토를 진행할 예정입니다.