연구진은 새로운 기술 조합이 나타나기 전에 특허 문서에서 예측 가능한 징후가 나타난다는 것을 확인했어요. TechToken이라는 트랜스포머 기반 모델을 개발하여 국제 특허 분류 코드(IPC)를 기술로 간주하고 기술 언어를 학습했어요. TechToken은 기존 모델보다 성능이 뛰어나 다양한 특허 관련 작업에서 일반적인 표현 품질을 향상시켰어요.