HumanScale 연구팀은 로봇 데이터 대신 에고센트릭 인간 비디오를 활용한 임베디드 모델 사전 훈련의 효과를 분석했어요. 놀랍게도, 정교한 필터링 및 라벨링 과정을 거친 에고센트릭 데이터는 로봇 데이터보다 우수한 성능을 냈어요. 에고센트릭 데이터로 사전 훈련된 모델은 실제 로봇 액션 예측에서 검증 손실이 24% 감소하고, 실제 로봇 작업 성공률이 최대 90% 향상됐어요.
연구팀은 에고센트릭 데이터를 활용해 다양한 세계 표현을 학습하고, 소량의 로봇 데이터로 액션 공간을 정렬하는 새로운 패러다임을 제시했어요. 이는 임베디드 모델 사전 훈련의 데이터 병목 현상을 해결할 수 있는 확장 가능한 방법이 될 수 있어요.
이번 연구는 에고센트릭 데이터 활용을 장려하고, 값비싼 로봇 데이터 수집 전에 데이터 품질을 평가하는 데 도움이 될 것으로 기대돼요.