Reddit 사용자가 커뮤니티 데이터 기반 오픈 소스 모델 구축 프로젝트를 제안했어요. Pi, Aider, OMP 같은 도구에 통합하여 세션 데이터를 수집하고 저장하는 아이디어입니다. 3B~14B 규모의 다양한 모델을 구축하여 모델 신뢰성 검증에 활용할 수 있습니다.
SWE-Bench, SWE-gym, Openhands 등의 기존 벤치마크를 기반으로 모델 신뢰성 검증을 위한 세부 분류 체계를 구축할 수 있습니다. 이를 통해 의미 변화, 아키텍처 변화, 의존성 변화 등 다양한 문제를 해결할 수 있습니다.