ynnk 연구팀이 NeuroFlow라는 새로운 프레임워크를 공개했어요. NeuroFlow는 비전 트랜스포머 비디오 추론 시 불필요한 배경 토큰을 제거해 속도를 향상시킵니다. 1792p 해상도 비디오에서 추론 속도가 55.8배 빨라지고, 97%의 충실도를 유지합니다. 별도의 파인튜닝 없이도 적용 가능합니다.
NeuroFlow는 Layer 0 Retinal Gate와 Layer 12 Cortical Cache를 결합한 Architecture C를 통해 92.4%의 밀집 정확도를 유지하며 토큰 희소성을 84.0%까지 높입니다. 이는 SigLIP 데이터셋에서 71.55%의 정확도를 달성하는 결과를 보여줍니다.
Architecture B는 불필요한 토큰을 제거하여 1792p SigLIP 2 추론 시간을 678ms에서 11.9ms로 단축했습니다. 이는 55.80배의 속도 향상이며, 임베딩 충실도는 97.37%를 유지합니다.
연구팀은 Phi-3-mini 모델에 유사성 게이팅 바이패스를 적용했을 때 문법적으로 제약된 생성에서 토큰 드리프트가 0%임을 확인했습니다.