연구팀이 DNN 훈련 과정에서 발생하는 결함을 탐지하고 진단하기 위한 벤치마크 Deep4ge를 공개했어요. Deep4ge는 Stack Overflow에서 수집한 59개의 TensorFlow/Keras DNN 프로그램을 기반으로 14,227개의 훈련 실행 데이터를 포함하고 있어요. 연구팀은 27가지의 소스 코드 변환을 통해 7가지 유형의 결함을 발생시킨 9,845개의 결함 실행 데이터와 4,382개의 정상 실행 데이터를 생성했어요.
각 실행 데이터에는 4가지 평가 지표와 26개의 특징이 기록되어 있으며, 이는 가중치, 그래디언트, 활성화, 정확도 및 손실 추세, 학습률, 하드웨어 사용량 등을 측정해요. Deep4ge는 이진 결함 탐지, 다중 클래스 결함 진단, 부분 훈련 실행으로부터의 조기 결함 예측을 지원해요.
연구팀은 Deep4ge 데이터셋과 결함 주입 프레임워크를 https://doi.org/10.5281/zenodo.20337241에서 공개했어요.