트랜스포머 문법(TG)은 구문 트리 구조를 통합하여 언어 모델링을 향상시킵니다. 기존 연구는 선행 깊이 우선 탐색(DFT)만 사용했지만, 본 연구에서는 너비 우선 탐색(BFT)과 새로운 하이브리드 탐색 전략인 생산 규칙 탐색(PRT)을 탐구했습니다. PRT는 BFT의 구조적 예측과 DFT의 초기 어휘 생성을 결합합니다.
다양한 트리 구성 및 마스킹 전략과 함께 이러한 탐색 방법을 통합하여 언어 모델링, 구문 일반화 및 요약 성능을 평가했습니다. 연구 결과, 중첩 구성과 글로벌 예측 간의 균형이 중요하며, 작업에 맞는 트랜스포머 문법 설계에 대한 지침을 제공합니다.
본 연구는 기존의 DFT 방식에서 벗어나 BFT와 PRT를 활용하여 트랜스포머 문법의 성능을 개선할 수 있음을 보여줍니다.