AI 모델 개발에 관심 있는 분들을 위한 글입니다. 작성자는 새로운 AI 아키텍처를 개발하고 테스트하는 것을 즐기며, 함께 협력할 개발자를 찾고 있습니다.
현재 개발 중인 'WrinkleBrane'은 텐서를 '멤브레인 뱅크'로 활용하는 독자적인 아키텍처로, 127만 파라미터 모델을 TinyStories 데이터셋으로 40k 스텝 학습하여 2 퍼플렉시티 이하를 달성했습니다.
CPU 환경에서 학습을 진행했으며, 현재는 외부 전문가의 의견을 수렴하고 협업을 통해 모델을 발전시키고자 합니다. Mem0에서 WrinkleBrane의 AI 메모리 뱅크 기능에 관심을 표명하기도 했습니다.