연구진은 Dart AOT 바이너리 신경 해독의 효과적인 파인튜닝 방법과 지표의 유효성을 실증적으로 연구했어요.
6가지 파인튜닝 모델 변형을 3가지 기본 아키텍처(4B-8B 파라미터)로 평가하며, HumanEval-Dart 벤치마크에서 CodeBLEU, compile@k, pass@k 지표를 사용했어요.
파인튜닝 설정을 변경해도 통계적으로 유의미한 pass@k 성능 향상이 없었고, 오히려 성능이 저하되는 경우도 발생했어요.
연구 결과, 어셈블리 시퀀스 길이(200 명령어)가 작업 난이도를 예측하는 가장 강력한 요소이며, pass@k 지표가 신경 해독 평가의 주요 지표가 되어야 한다고 밝혔어요.