연구진은 LLaMA와 Mistral 모델이 영어 담화 관계, 특히 인과관계와 대조 관계를 어떻게 인코딩하는지 조사했어요. 담화 관계 예측을 위한 다음 토큰 예측 작업으로, 모델 내부를 분석한 결과 초기 레이어는 중간 시퀀스 토큰에서 예측을 내리고, 중간 레이어는 마지막 토큰 근처에서 결정을 확정하는 경향이 있어요.
모델의 담화 관계 인코딩 방식에 따라 언어 이해 능력과 윤리적 문제가 결정되므로, 이번 연구는 모델의 내부 작동 방식을 파악하는 데 중요한 기여를 할 수 있어요. 연구 결과는 GitHub에서 확인할 수 있어요.
이번 연구는 모델의 성능과 윤리성을 개선하기 위한 기반 지식을 제공하며, 담화 관계를 보다 정확하게 이해하고 표현하는 모델 개발에 도움이 될 수 있어요.