Pulse · AI 뉴스

Taylor-Calibrate: 하이브리드 선형 어텐션 증류를 위한 원리 기반 초기화

GDN · 2026-06-15

연구진은 하이브리드 선형 어텐션 모델의 불안정한 변환 문제를 해결하기 위해 Taylor-Calibrate를 제안했어요. 이 방법은 교사 모델의 어텐션 통계를 활용해 학생 모델의 초기값을 설정하고, 짧은 레이어 정렬 단계를 적용해요. Taylor-Calibrate는 기존 방식 대비 88배 빠른 성능 향상과 4.9~9.2배 적은 토큰으로 목표 성능 달성을 가능하게 해요.

##모델출시##어텐션##최적화
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기