OmniAct는 사이버(API, IoT)와 물리(조작, 내비게이션) 영역을 통합하는 로봇 에이전트 프레임워크입니다. 다중 모달 의미론적 플래너, 적응형 계층적 메모리, 비주얼 프리엠션 엔진을 결합하여 장기적인 물리적 자율성을 확보합니다. 40개의 실제 작업에서 기존 방식보다 성능이 향상되었으며, 10만 토큰 이상 안정적으로 운영됩니다.
OmniAct는 기존 시스템의 문제점(분리된 사이버-물리 공간, 무한 컨텍스트 증가, 폐루프 실행)을 해결하고, 계획, 메모리, 검증을 명시적으로 분리한 계층적 비동기 아키텍처를 사용합니다. 이러한 구조를 통해 복잡한 환경에서도 일관된 성능을 유지하고 토큰 소비를 최소화합니다.
두 개의 로봇 플랫폼과 네 개의 IoT 장치를 활용한 실험에서 OmniAct는 모든 난이도 수준에서 최종 성공률을 개선하고, 오픈 웨이트 모델의 성능을 독점 수준으로 끌어올렸습니다.