연구진은 AI 모델이 수학적 지식을 확장할 수 있는지 조사하며, 특히 '0'의 개념을 스스로 발견할 수 있는지 실험했어요. GPT-2 크기 모델은 언어 사전 훈련 여부와 관계없이 '0'을 일반화하는 데 실패했지만, 수십~수백 개의 예시를 통해 학습하면 성능이 향상돼요. 언어 사전 훈련은 필요한 예시 수를 약 50% 줄여 수학적 발견을 지원하는 역할을 해요.
사전 훈련된 언어 모델은 '0'의 개념을 학습하는 데 어려움을 겪지만, 특정 예시를 통해 학습하면 개선될 수 있어요. 이 과정에서 언어 사전 훈련은 학습 효율성을 높이는 데 기여하는 것으로 나타났어요. 연구는 AI 모델의 수학적 사고 능력과 언어 능력의 연관성을 보여줘요.
GPT-2 크기 모델을 대상으로 '0'의 개념을 학습하는 실험을 진행했고, 언어 사전 훈련이 학습 효율성을 높이는 것을 확인했어요.