연구진이 그룹 대화의 지역적 사회 규범 적응 능력을 평가하는 벤치마크 LoSoNA를 공개했어요. LoSoNA는 모델이 대화 맥락에서 숨겨진 규범을 추론하고, 이를 바탕으로 응답하는 능력을 평가합니다. Gemini 3.1 Pro는 84.2%, Claude Fable 5는 81.6%의 정확도를 기록하며, 명시적인 규범 인식 프롬프트가 모델 성능 향상에 도움을 줬어요.
LoSoNA는 LLM의 사회적 역량을 평가하는 데 기여하며, 모델이 선례를 통해 지역적 대화 규범을 추론하고, 단일 턴 그룹 대화 응답에 활용할 수 있는지 테스트합니다. Naive 프롬프트는 대부분의 모델에서 한계가 있었고, 명시적인 규범 인식 프롬프트는 모델에 따라 효과가 다르게 나타났습니다.