Pulse · AI 뉴스

TIDE: 교차 아키텍처 증류를 통한 디퓨전 대규모 언어 모델

TIDE · 2026-04-30

연구진은 서로 다른 아키텍처의 디퓨전 대규모 언어 모델(dLLM) 간 지식 전달을 위한 새로운 프레임워크 TIDE를 선보였어요.

TIDE는 교차 토크나이저 객관 함수를 활용하여 안정적인 학습을 돕고, 8B 및 16B 모델을 0.6B 모델로 증류하여 성능을 향상시켰어요.

TIDE를 통해 HumanEval 점수가 48.78점으로 향상되는 등 코드 생성 능력이 크게 개선되었어요.

##dLLM##증류##TIDE##모델압축##코드생성
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기