연구진은 LLM과 VLM을 로봇 조작에 활용하기 위한 새로운 프레임워크인 CoRAL을 제안했습니다. CoRAL은 고수준 추론과 저수준 제어를 분리하여 접촉이 많은 환경에서 제로샷 계획을 가능하게 합니다.
CoRAL은 LLM을 직접 제어기로 사용하지 않고, 샘플링 기반 운동 계획기(MPPI)를 위한 상황 인지적 목적 함수 설계자로 활용합니다. 시각 데이터의 물리적 파라미터 불확실성을 해결하기 위해 신경-기호 적응 루프를 도입했습니다.
CoRAL은 시뮬레이션과 실제 하드웨어에서 다양한 과제를 수행하며, 기존 VLA 및 기반 모델 기반 계획기보다 평균 성공률을 50% 이상 향상시켰습니다.