연구진이 표 형식 모델(LTM)의 암기 현상을 분석하는 프레임워크 ICLMEM을 개발했어요. ICLMEM은 모델이 컨텍스트 기반 예측 대신 암기된 내용을 사용하는지 확인하는 데 사용돼요. 10개 작업 중 8개에서 적당한 암기 신호가 감지되었으며, 특히 저차원성 및 이진 작업에서 두드러졌어요.
연구 결과, 특정 조건(고정된 샘플을 여러 에포크 동안 단일 작업으로 미세 조정하고 작은 쿼리 크기 사용)에서 LTM의 암기 신호가 나타나는 것으로 확인되었어요. 민감한 데이터를 보호하기 위한 적절한 조치가 필요해요.
연구진은 데이터 암기 가능성에 대한 경고와 함께 현실적인 학습 조건에서는 암기 신호가 대부분 사라진다는 점을 강조했어요.