본 연구는 LLM이 텍스트 속성 그래프(TAG)를 추론할 때 발생하는 구조 왜곡 문제를 분석했어요. 그래프 선형화 과정에서 회전 위치 임베딩이 대역폭에 따른 주의 집중 저하를 유발하여 인접 노드 간 주의를 억제하는 메커니즘을 밝혀냈어요. 이를 해결하기 위해 그래프 정렬 언어 주의(GaLA)를 제안하여 LLM의 주의 집중을 그래프 인접 노드로 편향시켜 성능을 향상시켰어요.
GaLA는 기존 LLM의 순차적 유도 편향을 유지하면서도 가벼운 수정만으로 적용 가능하며, TAG 벤치마크에서 무시할 만한 오버헤드로 성능을 개선했어요. 기존 연구에서 주목받던 프롬프트 엔지니어링이나 모델 크기 확장보다 주의 집중 불일치를 교정하는 것이 중요함을 보여줬어요.
본 연구는 LLM 기반 그래프 추론에서 구조 왜곡이 해결 가능한 병목 현상임을 입증하며, 앞으로 그래프 구조에 맞는 LLM 활용 연구 방향을 제시했어요.