AI 커뮤니티에서 강력한 오픈 모델이 출시될 때마다 'GPT-4/Claude 등에서 증류했다'는 주장이 반복적으로 제기되고 있어요.
토큰 수준의 진정한 증류는 로짓 접근이 필요하지만, 공개 API로는 얻을 수 없으며, 대부분의 파인튜너는 합성 데이터를 활용할 뿐입니다.
API의 가드레일로 인해 제한된 영역에서 성능이 뛰어난 '증류' 모델이 나타나는 것은 데이터 생성 과정에서 발생하는 현상입니다.
모델이 특정 모델의 답변을 흉내 내는 것은 데이터 오염의 증거일 뿐, 실제 증류를 의미하는 것은 아닙니다.