Pulse · AI 뉴스

LionVote: 레이어별 학습률 적응 기법

Lion · 2026-07-10

LionVote는 Lion 모델의 레이어별 학습률을 조절하는 새로운 기법이에요. 각 파라미터 텐서가 복합 수준을 유지하며, 검증 손실을 통해 최적의 학습률을 결정해요.

ViT-Tiny/CIFAR-100 데이터셋에서 LionVote는 Lion 모델보다 0.7% 더 높은 정확도(69.7%)를 달성했어요.

LionVote의 성능은 모델 구조와 작업에 따라 달라지며, 일부 환경에서는 기존 SGD 방식이 더 효과적일 수 있어요.

##LionVote##학습률##최적화##Lion##ViT
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기