연구진은 실제 환경의 예상치 못한 상황에 대처하기 위해, 객체의 조작 가능성을 고려하지 않는 기존 방법의 한계를 지적하며 새로운 벤치마크인 DynAfford를 제시합니다.
DynAfford는 객체의 상태를 인지하고, 암묵적인 전제 조건을 추론하며, 변화하는 환경에 맞춰 행동을 조정하는 능력을 평가하며, ADAPT라는 모듈을 통해 기존 계획기에 조작 가능성 추론 기능을 추가합니다.
실험 결과, ADAPT를 통합하면 다양한 환경에서 작업 성공률이 향상되었으며, 특정 작업에 맞춰 조정된 비전-언어 모델이 GPT-4o보다 뛰어난 성능을 보였습니다.