연구진은 토큰, 바이트, 픽셀 등 언어 모델 인코딩 방식을 비교 분석했어요. 13개 언어와 5개 문자 체계의 병렬 문장을 활용해 다양한 용량 제약 조건 하에서 각 인코딩의 성능을 평가했죠. 표면 형태 보존, 교차 언어 문장 정렬, 주제 분류 세 가지 유틸리티를 기준으로 평가 결과, 특정 인코딩이 모든 상황에서 우세하지 않았어요.
픽셀은 표면 형태 보존에, 바이트는 교차 언어 문장 정렬에, 토큰은 주제 예측에 가장 적합한 성능을 보였으며, 이는 단순히 시퀀스 길이만으로는 설명할 수 없다고 밝혔어요. 짧은 입력은 유용한 의미를 버릴 수 있고, 긴 입력은 잘 압축되는 정보를 보존할 수 있기 때문이죠.
결론적으로 인코딩 방식 선택은 토큰, 바이트, 픽셀 중 하나를 고정적으로 선호하는 것이 아니라, 작업, 언어 혼합, 용량, 컴퓨팅 예산에 따라 달라지는 레이트-유틸리티 균형을 맞추는 과정이라고 강조했어요.