SimCT는 서로 다른 토크나이저를 사용하는 모델 간 온폴리시 증류 시 발생하는 문제를 해결하는 새로운 방법입니다. 기존 방식은 토큰 단위로 비교하여 정보 손실을 야기했지만, SimCT는 짧은 다중 토큰 연속을 비교하여 이 문제를 해결합니다. 실험 결과, SimCT는 수학적 추론 및 코드 생성 벤치마크에서 기존 방식보다 성능 향상을 보였습니다.
SimCT는 기존 온폴리시 증류 방식의 손실 형태를 그대로 유지하면서도, 토크나이저 간의 불일치로 인해 손실되었던 정보를 복구합니다. 이는 두 모델이 텍스트를 다르게 토큰화할 때 발생하는 문제점을 해결하는 데 기여합니다.
SimCT의 코드는 GitHub에서 확인할 수 있으며, 연구는 토크나이저 간의 차이를 고려한 효과적인 모델 증류 방법을 제시합니다.