Reddit 사용자가 데이터 추출 및 분석 파이프라인 구축을 위해 뛰어난 추론 능력을 가진 소형 모델을 찾고 있어요. 9000만 개의 텍스트를 처리하며 환각 현상을 10% 미만으로 유지하는 것이 목표입니다. 기존 Qwen3.5-2B 모델은 성능이 미흡하여 다른 모델을 찾고 있어요.
환각 현상 감소를 위해 고품질의 파인튜닝 데이터셋을 보유하고 있으며, 양자화 모델 사용은 오류 증가로 인해 비용 효율적이지 않다고 판단해요. 현재 대부분의 최신 모델은 멀티모달에 집중하고 있어 순수 언어 모델을 찾기 어려워요.
전문가의 의견을 구하며, 데이터 파이프라인에 적합한 소형 모델 추천을 요청했어요.