연구진은 로봇 조작에 사용되는 비디오 월드 모델의 신뢰성을 평가하는 벤치마크 RoboTrustBench를 발표했어요. 이 벤치마크는 정상, 제약 민감, 반사실, 적대적 시나리오 4가지로 구성돼요. RoboTrustBench는 실제 DROID 에피소드를 기반으로 만들어졌으며, 현재 모델들은 시각적으로 일관성 있는 영상을 생성하지만 제약 추론, 반사실적 근거, 물리적 상호작용, 안전하지 않은 지시 억제에 어려움을 겪는다는 결과가 나왔어요.
RoboTrustBench는 1,207개의 전문가 검증된 지시-이미지 쌍과 6차원 평가 프로토콜, 13가지 세분화된 기준으로 구성돼요. 현재 모델들은 시각적 품질과 표면 수준의 지시 따르기가 신뢰할 수 있는 로봇 비디오 월드 모델링에 충분하지 않다는 점을 보여줘요.
연구 결과에 따르면 현재 모델들은 시각적으로 일관성 있는 영상을 생성하지만, 제약 추론, 반사실적 근거, 물리적 상호작용, 안전하지 않은 지시 억제에 어려움을 겪고 있으며, 이는 로봇 조작에 사용되는 비디오 월드 모델의 신뢰성 평가에 중요한 시사점을 제공해요.