연구진이 BERT와 Tsetlin 머신(TM)의 장점을 결합한 새로운 프레임워크를 제안했어요. 언어 모델에서 추출한 의미적 클러스터를 활용해 TM을 사전 훈련하여 해석 가능성을 높였어요.
K-means 또는 Top2Vec으로 텍스트 샘플을 의미적으로 그룹화하고, Type I 피드백을 활용해 TM을 훈련했어요. 이를 통해 TM은 해석 가능한 의미 키워드를 학습해요.
다섯 데이터셋에서 기존 TM 및 임베딩 기반 TM보다 성능이 뛰어나고 BERT와 경쟁하는 수준의 성능을 보였으며, 동시에 해석 가능성을 유지했어요.