연구진은 테이블 형식 모델이 소규모 레이블 데이터에서 정확한 In-Context Learning(ICL)을 가능하게 하지만, 컨텍스트에 배치된 개인 기록이 모델 예측을 통해 유출될 수 있음을 확인했어요.
TabPATE는 공개 In-Distribution 데이터 없이 테이블 형식 ICL을 위한 차등 개인 정보 보호 방어 기술로, 컨텍스트 내 개인 정보를 여러 교사 모델에 분산하고 합성 테이블 형식 쿼리에 대한 레이블을 개인 정보 보호 방식으로 집계하여 학생 컨텍스트로 출시하는 방식이에요.
벤치마크 테스트 결과, TabPATE는 경쟁력 있는 유틸리티를 유지하면서 멤버십 추론을 거의 무작위 성공 수준으로 낮춰 공개 데이터 없이도 개인 정보 보호 테이블 형식 ICL을 위한 실용적인 방법을 제시했어요.