연구팀은 비유적 표현의 의미를 파악하는 능력을 평가하는 새로운 벤치마크 'IdioLink'를 공개했어요. IdioLink는 107개의 관용구와 그에 상응하는 문자 그대로의 의미를 연결하는 2,140개의 쿼리로 구성돼 있어요.
기존 모델들은 표면적인 의미 연결에 의존하여 관용구의 의미를 제대로 파악하지 못하고, 주제나 피상적인 의미 단서에 의존하는 것으로 나타났어요.
IdioLink는 관용구 이해 능력에 대한 중요한 격차를 보여주며, 향후 모델 개발을 위한 도전적인 테스트베드가 될 거예요.