Tencent이 언어 추론과 시각적 상상을 결합한 통합 멀티모달 모델 'RxBrain'을 공개했어요.
RxBrain은 이미지와 비디오에 대한 질의응답, 미래 상태 예측, 하위 목표 계획 기능을 제공하며, 임베디드 인지 능력을 선보입니다.
62억 파라미터의 MoT 백본과 Flow-Matching 이미지 헤드를 사용하여 텍스트와 이미지를 통합적으로 처리하며, 언어와 시각적 목표를 결합한 계획을 수립합니다.
RxBrain은 하나의 오토리거시브 시퀀스 내에서 텍스트 추론과 생성된 프레임을 번갈아 가며 출력하여, 단계별로 무엇을 해야 할지, 세상이 어떻게 보여야 하는지를 연결합니다.