1931년 이전 영어 텍스트 260B 토큰으로 학습한 13B 언어 모델 'Talkie'가 공개됐어요. 현대 세계를 모르는 상태에서 대화와 일반화 실험을 가능하게 해 미래 사건 예측과 새로운 아이디어 도출에 활용될 수 있어요. 지식 컷오프 이후 놀라움 증가와 오염이 적은 평가 환경을 기반으로 개발됐어요.