연구자가 CPU 기반 언어 모델 FlashLM v9.7을 공개하며, 기존 모델 대비 부분적으로 일관성 있는 텍스트 생성 능력을 향상시켰습니다.
FlashLM v9.7은 TinyStories 데이터셋에서 val PPL 10.23을 기록했으며, 명칭된 등장인물과 스토리 구조를 포함한 부분적으로 일관된 텍스트를 생성합니다.
연구 결과, 모델의 파라미터 수가 제한적(2.5M) 이기 때문에 진정한 의미의 일관성 있는 텍스트 생성은 아직 불가능하며, 약 100 토큰 이후부터는 일관성이 깨지는 현상이 발생합니다.