SupraLabs가 텍스트, 이미지, 비디오를 통합하는 Any2Any 모델 패밀리인 Supra-A2A-Nano-Exp를 공개했어요. 이 모델은 30M 파라미터 규모로, 별도의 비전 인코더나 디퓨전 모델 없이 모든 것을 토큰 스트림으로 처리합니다.
텍스트, 이미지, 비디오를 토큰으로 취급하며, GPT-2 BPE 토크나이저를 사용해 텍스트 토큰 50,264개와 비전 토큰 256개를 포함한 총 50,520개 토큰을 활용합니다.
이 모델은 이미지 재구성, 텍스트-이미지 생성 등 다양한 모드를 지원하며, 384 토큰의 컨텍스트 윈도우를 사용합니다. 현재 실험적 단계이며, 피드백을 환영합니다.