연구진은 신경망 내 신경세포 집단이 규모에 따라 예측 가능하게 진화하는지 조사했어요. 300억 파라미터 언어 모델과 50억 파라미터 비전 모델을 분석한 결과, Rosetta 신경세포 집단은 모델 크기에 따라 소선형 거듭제곱 법칙을 따르며 절대적인 수는 증가하지만 전체 신경세포 비율은 감소했어요. 신경세포 극화 현상으로 인해 Rosetta 신경세포는 규모가 커짐에 따라 더욱 선택적이고 단일 의미적으로 분화하는 경향을 보였어요.
특징 유틸리티와 제한된 신경세포 용량을 균형 있게 고려한 분석 모델은 소선형 거듭제곱 법칙과 극화 현상을 설명해요. 연구 결과는 모델 크기에 따른 해석 가능하고 공유되는 신경세포 구조의 확장 법칙을 제시하며, 신경세포의 보편성, 선택성, 전문화를 연결해요.
Rosetta 신경세포는 규모가 커짐에 따라 더욱 전문화되며, 지속적인 사전 훈련을 위한 데이터 필터링 사례 연구를 통해 선택성을 보여줘요.