연구자 KKuettes가 386M 파라미터 규모의 언어 모델 Fractale-350M-base를 공개했어요. 이 모델은 512 토큰 단위로 8개의 벡터를 자체적으로 기록하는 ‘기억 뱅크’를 활용합니다.
Fractale-350M-base는 기존 모델 대비 코드에서 +9.4 nats, 웹에서 +7.3 nats의 GAP(기억 뱅크 활용 시 감소된 교차 엔트로피)를 보여줘서 장기 기억의 효과를 입증했어요.
모델 가중치, 카드, 사용법 키트, 연구 로그, 논문 등 모든 자료를 공개했으며, 다음 단계는 기억을 의도적으로 사용하는 방법을 연구할 예정입니다.