Eder Reynal이 숫자 인식력 부족 문제를 해결하기 위해 금융 BERT 모델을 개발했어요. 기존 모델은 숫자 크기 순서 파악에 어려움을 겪는다는 문제점을 개선했습니다.
모델은 숫자 패턴을 정규 표현식으로 처리하고 로그 크기로 표현하여 128개의 빈으로 스무스 인코딩하는 방식으로 작동하며, 300만 토큰으로 훈련했어요.
맞춤형 벤치마크 테스트에서 59%의 정확도를 기록하며, ModernBERT (38%) 및 BGE-base-v1.5 (34%)보다 우수한 성능을 보여줬어요.