연구자가 새로운 어텐션 메커니즘인 '웨이브 필드(Wave Field)'를 개발하여 독립적인 테스터를 모집했어요. 이 기술은 FFT 웨이브 컨볼루션을 사용하여 표준 어텐션의 O(N²) 복잡도를 줄여 128K 컨텍스트를 처리할 수 있어요.
웨이브 필드 모델은 80+ 토큰/초의 속도로 맥북 CPU에서 실행되며, 130M~1.5B 파라미터 모델을 학습했어요. 초기 테스트에서 DCLM CORE 모델은 GPT-2 모델보다 높은 성능을 보여줬어요.
GitHub 저장소, 웹사이트, 유튜브 데모 영상 링크가 제공되었으며, 테스트 결과와 피드백을 환영하며, 특히 성능, 품질, 잠재적 문제점에 대한 의견을 부탁하고 있어요.