연구진은 LoRA 어댑터가 몇 메가바이트 크기로, 데이터 기록이 아닌 기술로 취급되는 현상에 주목했어요. 어댑터가 고정된 기반 모델에 기록하는 비트 수를 직접 측정하여, 기존 파인튜닝보다 적고 파라미터 수 예측보다 불규칙적임을 확인했어요.
어텐션에서 MLP로 동일한 파라미터 예산을 이동하면 저장 용량이 거의 두 배로 늘어나고, 고정된 기반 모델의 구조를 제거하면 용량이 거의 사라지는 것으로 나타났어요. 이는 어댑터가 학습 가능한 파라미터당 2비트를 저장하며, 전체 모델 예산에 미치지 못하는 수준이에요.
실제 Qwen2.5 파인튜닝을 분석한 결과, 어댑터가 기록하는 비트 수에 따라 개인 정보 유출이 증가하며, 지도 학습과 강화 학습 간의 명확한 경계를 보여주었어요. 지도 학습은 어댑터가 검증 가능한 보상을 기반으로 학습할 때 기록하지 않는 정보를 그대로 복사합니다.