Pulse · AI 뉴스

대규모 사전 훈련 모델의 매개변수 효율적 미세 조정 연구

arXiv cs.CV · 2026-06-01

연구진이 인스턴스 분할 작업에 대한 대규모 사전 훈련 모델의 매개변수 효율적 미세 조정(PEFT) 기법을 연구했어요.

어댑터와 LoRA 기법을 활용해 모델 파라미터의 1~6%만 미세 조정하며 기존 방식 대비 성능을 유지했어요.

연구 결과, 트랜스포머 블록당 2~3개의 어댑터를 사용하는 것이 성능과 효율성의 최적 균형을 이루며, LoRA는 변형 어텐션에 적용 시 뛰어난 효율성을 보였어요.

##연구##인공지능##미세조정
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기