연구진은 PaySim 데이터셋에서 그래디언트 부스팅 분류기, 그래프 기반 구조적 특징, 이상 신호, TreeSHAP 설명, LLM 기반 사례 조사 에이전트를 결합한 다층 파이프라인을 연구했어요.
시뮬레이터의 특정 편향을 제거한 결과, 그래프 특징이나 이상 신호는 전체 테스트 세트에서 Average Precision을 향상시키지 못했지만, 중간 점수 사례에서 사기 판별 성능은 개선했어요.
의도적으로 설계된 구조적 특징은 주입된 모든 사기 거래를 복구했지만, 기존 표 기반 분류기는 약 1/4을 놓쳤고, LLM 조사 에이전트는 분류기보다 성능이 떨어졌어요.
에이전트의 결정에 대한 이의 제기 규칙은 오류를 포함한 2건의 사례를 인간 검토를 위해 표시했지만, 정확한 분류기 결정은 표시하지 않았으며, 모든 결정에 대해 일관된 서면 근거를 제시했어요.