연구진은 시각-언어-행동(VLA) 모델의 현실 세계 숙련된 조작 문제를 해결하기 위해 BORA라는 오프라인-온라인 강화 학습 프레임워크를 제안했어요.
BORA는 오프라인 단계에서 VLM의 인지 토큰과 동작 청크를 입력으로 받는 평가기를 구축하여 동작에 따른 가이드 값 제공.
온라인 단계에서는 VLA 기반을 고정하고 HiL 청크별 잔차 적응 메커니즘을 도입하여 실제 세계 실행 오류를 완화하고 오프라인에서 학습된 의도를 수정해요.
5가지 복잡한 현실 세계 숙련된 작업에서 BORA는 순수한 모방 학습과 기존 RL보다 33% 더 높은 평균 성공률을 달성하며, 새로운 객체 일반화에서 최대 43% 향상된 성능을 보였어요.