Pulse · AI 뉴스

Trees from Marginals: 요소별 추론을 활용한 자동화된 초안 작성

SGLang · 2026-07-08

연구진은 요소별 초안 모델의 독립성 가정으로 인한 한계를 분석하고 Weaver라는 새로운 어댑터를 소개했어요. Weaver는 상위 K개 요소의 마진 정보를 활용해 제안 트리 구조를 구축해 요소 간 조건부 종속성을 복원해요. SGLang에서 최적화된 CUDA 커널을 구현해 자동화된 디코딩 속도를 4.37배 향상시키고 DFlash 기반 모델보다 24.7% 성능이 뛰어나요.

Weaver는 요소 간 종속성을 복원하면서 전체 어휘 투영을 피하는 방식으로 작동하며, Gated Delta Net 레이어를 가진 모델의 빠른 검증을 지원하는 롤백 없는 트리 검증 알고리즘을 사용해요. 이러한 모델 및 시스템 개선을 통해 기존 자동화된 디코딩보다 훨씬 빠른 속도를 달성했어요.

연구진은 요소별 초안 모델의 성능을 향상시키기 위해 제안 트리 구조를 활용하고, 빠른 검증을 위한 최적화된 알고리즘을 개발하여 디코딩 속도와 성능을 크게 개선했어요.

##LLM##디코딩##최적화##SGLang##Weaver
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기