Pulse · AI 뉴스

LLM 파인튜닝 시 암기 지식의 일반화 실패 원인 분석

HuggingFace Papers · 2026-07-09

연구진은 LLM이 새로운 지식을 암기하지만 추론에 활용하지 못하는 '암기-활용 격차(Knowing--Using Gap)' 현상을 발견했어요. 이 격차는 정확도 차이와 암기와 일반화 사이의 시간 지연으로 나타나요. 자기 패치(self-patching) 기법을 활용해 LLM 내부의 지식 흐름을 분석한 결과, 암기된 표현이 연산에 효과적인 레이어로 연결되지 않아 발생한다는 가설을 제시했어요.

자기 패치 기법은 일반화 실패 사례에서 표현을 재배치하여 성능을 개선하는 위치를 찾아내는데, 이를 통해 58~75%의 일반화 성능을 회복하는 간단한 전략을 개발했어요. 다양한 분야에서 실험을 진행하여 결과의 신뢰성을 검증했어요.

##LLM##파인튜닝##지식##일반화##자기패치
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기