Byte 토크나이저와 디코더가 서브워드 토크나이저보다 정밀 작업에 얼마나 도움이 되는지 질문이 나왔어요. 이름이나 단어의 미묘한 차이를 구별하거나, 문자 개수를 세거나, 대소문자를 구분하는 등 정밀 작업에서 더 나은 결과를 보여줄까요? Byte 단위 모델이 정밀 작업에 도움이 된다면 현재 어떤 모델이 가장 선호되고 있는지 궁금하다는 의견이 있었어요. 관련 정보를 공유하고 의견을 나누는 토론이 이어지고 있어요.