연구진이 LLM의 개인정보 유출 문제를 해결하기 위해 파라미터 수준의 데이터 삭제 정확도를 평가하는 테스트베드 LACUNA를 공개했어요. LACUNA는 10억 개와 70억 개 파라미터 규모의 OLMo 기반 모델에 개인정보를 삽입하고, 데이터 삭제 방법이 실제로 해당 정보를 삭제하는지 확인하는 방식으로 작동해요. 기존 데이터 삭제 방법은 출력 수준에서만 성능이 좋았지만, 실제로는 개인정보를 숨기는 데 그치며 공격에 취약하다는 점을 발견했어요.