연구진이 강화 학습 환경에서 Out-of-Distribution(OOD) 탐지를 위한 벤치마크 프레임워크 OOD-RL-Bench를 공개했어요. 기존 벤치마크는 이미지 분류나 정적 데이터셋에 집중했지만, OOD-RL-Bench는 강화 학습 경로의 복잡한 시간 구조를 고려해요.
OOD-RL-Bench는 다양한 이상 현상을 주입한 강화 학습 경로를 통해 OOD 탐지기의 성능을 평가하며, 새로운 측정 방법과 이상 현상 유형을 쉽게 추가할 수 있도록 설계됐어요.
LunarLander-v3 환경에서 Deep Q-Network 정책을 사용하여 테스트한 결과, 관측 변화나 환경 전환은 비교적 정확하게 탐지되지만, 관측 지연이나 행동에 따른 역학 변화는 여전히 어렵다는 점을 확인했어요.
연구진은 프레임워크, 학습된 정책 체크포인트, 전체 결과를 공개하여 재현 가능한 결과물을 제공하며, 강화 학습 분야의 OOD 탐지 연구 발전에 기여할 것으로 기대돼요.