연구진은 LLM이 다양한 문화적 맥락에서 사용되지만, 문화적 공감을 불러일으키기 위한 언어 사용 전략인 미적 양식에 대한 이해가 부족하다는 점을 지적했어요. 이를 평가하기 위해 홍콩과 중국 대륙의 영화 제목과 광고 문구를 번역한 C4STYLI 벤치마크를 구축했어요. 연구 결과 LLM은 인간과 다른 방식으로 양식을 인식하며, 인식 능력은 텍스트 도메인에 따라 달라지는 것으로 나타났어요.
LLM의 양식 인식과 생성 성능은 일관성을 보이지 않으며, 홍콩의 경우 표면적인 언어 정보에 의존하여 홍콩 특유의 양식 구조에 대한 민감도가 낮은 것으로 확인됐어요. 이는 LLM이 문화적 양식을 진정으로 이해하지 못한다는 것을 시사해요.