연구진은 LLM이 문법 오류 관련 정보를 내부 상태로 내재하고 있다는 것을 확인했어요. Grammatical Error Representation(GER)를 추출하여 문법 오류를 정보적으로, 의미적으로 중립적으로 인코딩하는 방법을 제안했어요. GER 기반 검색 방법은 다국어 문법 오류 교정 데이터셋에서 ICL 성능을 향상시켜 교정 정확도를 높여요.
8B 규모의 오픈소스 모델에서 Deepseek2.5, GPT-4o-mini와 유사한 성능을 보였고, 저자원 언어에서는 기존 방식보다 최대 1.2배 높은 F0.5 점수를 기록했어요. 이 방법은 다국어 문법 오류 교정에 대한 보다 정확하고 효율적인 솔루션을 제공하며, 해석 가능한 문법 오류 연구의 새로운 방향을 제시해요.
GER은 문법 오류를 정보적으로, 의미적으로 중립적으로 인코딩하여 LLM의 맥락 내 학습 성능을 향상시키는 핵심 요소예요. 이는 기존 방식의 한계를 극복하고, 다양한 언어 환경에서 문법 오류 교정의 정확도를 높이는 데 기여할 수 있어요.