연구진은 GPT-5 기반의 단순 챗봇(ASA)과 GPT-4o-mini를 활용한 복합 시스템(ASuS)을 학업 지도 분야에 적용하여 성능을 비교했어요.
ASuS는 LangGraph 기반의 하니스를 통해 정보 검색, 구조화된 출력, LLM-as-judge, HITL 게이트, 감사 추적 기능을 통합하고 있어요.
평가 결과, ASuS는 더 작은 모델을 사용했음에도 불구하고 모든 평가 항목에서 ASA보다 높은 점수를 받았으며, 10명 중 8명이 통계적으로 유의미한 차이를 확인했어요.
연구는 하니스 엔지니어링이 모델 크기보다 신뢰성, 추적 가능성, 기관 일관성을 중요하게 고려할 때 더 효과적임을 시사해요.