연구진은 강화 학습 모델이 학습한 위험 주장이 실제와 일치하는지 감사했어요. QR-DQN, C51, IQN 모델을 MinAtar 환경에서 테스트한 결과, 40~95%의 위험 주장이 통계적으로 기각됐어요. 학습된 '위험'은 환경의 불확실성 반영이 아니라 학습 과정의 부산물인 것으로 나타났어요.
연구진은 감사 도구와 함께 두 가지 잠재적인 함정을 공개했는데, 이는 연구진 스스로도 잘못된 감사를 수행하는 데 기여했어요. 이 도구는 모델의 성능을 평가하고, 잘못된 결론을 내리는 것을 방지하는 데 도움이 될 수 있어요.
분포형 강화 학습 모델의 위험 주장이 실제 환경의 불확실성을 제대로 반영하지 못하는 학습 부산물일 수 있다는 점을 밝혀냈어요. 연구진은 감사 도구를 통해 모델의 위험 주장을 검증하고, 모델의 안전성을 확보하기 위한 추가적인 연구가 필요하다는 점을 강조했어요. 연구 결과는 강화 학습 모델의 신뢰성을 높이는 데 중요한 시사점을 제공합니다.