LLMSurgeon은 LLM의 사전 훈련 데이터 혼합 비율을 추정하는 새로운 프레임워크입니다. 모델이 생성한 텍스트만으로 데이터 혼합 비율을 추정하는 '데이터 혼합 수술(DMS)'을 공식화했습니다. LLMSurgeon은 DMS를 역문제로 보고, 분류기 출력을 직접 집계하는 대신 교정된 '소프트' 혼동 행렬을 추정합니다.
LLMScan 평가 도구를 통해 LLMSurgeon이 고정된 프로토콜 하에서 데이터 혼합 비율을 정확하게 복원하는 것을 확인했습니다. 이 연구는 훈련 데이터 접근 없이도 LLM의 디지털 DNA를 감사할 수 있는 실용적인 접근 방식을 제시합니다.
LLMSurgeon은 LLM의 데이터 혼합 비율을 추정하여 모델의 행동, 능력, 실패 모드를 이해하는 데 기여할 수 있습니다.