연구진은 LLM의 새로운 기술 습득을 위한 '스킬 네올로지즘'이라는 방법을 제안했습니다. 스킬 네올로지즘은 모델 어휘에 통합되어 특정 기술에 대한 능력을 향상시키는 소프트 토큰입니다. 기존 방식의 문제점을 해결하고 모델의 능력을 선택적으로 확장하는 데 도움을 줍니다.
사전 훈련된 LLM은 이미 절차적 지식과 관련된 토큰을 가지고 있으며, 스킬 네올로지즘은 특정 기술 능력을 향상시키면서도 다른 기술과 조화롭게 작동할 수 있습니다. 또한 독립적으로 훈련된 스킬 네올로지즘은 제로샷으로 결합될 수 있습니다.
연구 결과, 스킬 네올로지즘은 새로운 기술을 지속적으로 학습하는 데 효과적인 방법이 될 수 있음을 시사하며, 모델 업데이트 없이도 능력을 확장할 수 있는 가능성을 제시합니다.