Pulse · AI 뉴스

PEFT-Arena: 파라미터 효율적 파인튜닝의 안정성·가소성 관점 이해

PEFT-Arena · 2026-05-28

연구진은 파라미터 효율적 파인튜닝(PEFT) 평가 시 목표 작업 적응과 함께 사전 학습 능력 유지라는 안정성·가소성 균형을 고려해야 한다고 주장해요.

PEFT-Arena 벤치마크를 통해 다운스트림 성능과 일반 능력 유지력을 동시에 측정하고, 방법별로 안정성·가소성 프로필이 다르다는 점을 발견했어요.

가중치 공간 분석 결과, 파라미터화 방식이 사전 학습된 고유값 구조와 상호작용하며, 활성화 공간에서는 표현 왜곡이 망각과 관련이 있다는 점을 밝혀냈어요.

##PEFT##파인튜닝##LLM##벤치마크##안정성
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기