연구자가 1년 동안 기업 성장 예측을 위해 금융 문서(10-k filings)를 분석하는 프로젝트를 진행했지만 실패했습니다. 숫자 인식 성능을 개선한 ModernBERT 기반 모델을 개발하여 Hugging Face에 공개했으며, 이 모델을 활용한 시퀀스 임베딩을 구축했습니다. JEPA 방식은 실패했지만, 오토인코더 방식을 활용하여 빈도 편향 문제를 해결하고, 트랜스포머의 낮은 효과적 차원 문제를 연구했습니다.