연구진이 로봇 제어를 위해 Mixture-of-Experts(MoE) 기반 비디오 사전 훈련 패러다임인 LingBot-Video를 개발했어요. 기존 비디오 생성 모델의 한계를 극복하고, 로봇 관점의 데이터와 다차원 보상 시스템을 활용했어요. LingBot-Video는 디지털 창의성과 물리적 작동을 연결하는 첫 번째 오픈소스 MoE 비디오 기반 모델이에요.
LingBot-Video는 모델링 능력과 추론 효율성 간의 균형을 맞추기 위해 MoE 프레임워크를 채택하고, 조작, 내비게이션, 1인칭 시점을 포함하는 로봇 관련 영상을 활용했어요. 물리적 타당성과 작업 완료를 위한 다차원 보상 시스템을 통해 모델을 훈련했어요.
연구진은 LingBot-Video를 오픈소스로 공개하여, 디지털 창의성과 물리적 작동을 잇는 선도적인 시도를 선보였으며, 성능과 효율성을 검증하는 다양한 평가를 진행했어요.