연구진은 LLM이 구조화된 데이터 생성 시 In-Context 학습(ICL)에 의존하는 한계를 조사했어요. 고위도 테이블 데이터를 활용해 ICL이 사전 훈련에서 물려받은 토큰 분포에 갇히는 '범주형 사전 고착화' 현상을 발견했어요. LoRA는 이 문제를 해결하지만, 기억 위험과 불안정성을 야기하며 적응성과 개인 정보 보호 간의 균형을 보여줘요.
두 개의 7B 파라미터 모델에서 ICL은 수치적 정확도를 높이지만, 범주형 분포에서는 희귀 클래스를 완전히 재현하지 못하는 한계가 있었어요. 추가 예제를 사용해도 성능 향상에 한계가 있었어요.
연구 결과, ICL의 한계를 극복하기 위한 파라미터 효율적인 Fine-tuning(LoRA)은 기억 위험과 불안정성을 초래하며, 적응성과 개인 정보 보호 간의 균형을 고려해야 함을 시사해요.