최근 LLM의 광범위한 사용으로 인해 모델의 견고성에 대한 우려가 커지고 있어요. 입력 토큰화의 교란에 취약하다는 점은 기존 모델의 문제점을 드러냈어요. 연구 결과, 무작위 토큰화는 교란에 덜 민감한 내부 표현을 제공하여 모델의 견고성을 높일 수 있다고 해요. 무작위 토큰화로 사전 훈련 및 미세 조정을 진행하면 무작위 및 적대적 교란에 대한 견고성이 향상되며, 추론 비용 증가 없이 정확도를 유지할 수 있어요.