JetBrains 팀이 자체 개발한 12B-2.5A LLM인 Mellum2 모델을 공개했어요. H100/H200 생산 환경 배포를 목표로 했지만, 로컬 배포도 지원합니다. 다양한 GGUF 파일이 Ollama와 Hugging Face에 공개되었으며, 사용자 피드백을 기다리고 있어요.
Mellum2는 다른 소형 언어 모델(SLM)과 비슷한 성능을 보이지만, 동시 부하 환경에서 더 높은 처리량을 제공해요. 동시 사용자 처리량 벤치마크 결과는 첨부 파일에서 확인할 수 있습니다.
JetBrains는 Mellum2 모델의 장단점, 기대 사항, 하드웨어 환경에 대한 피드백을 요청하며, 모델이 사용자에게 유용하게 활용될 수 있도록 개선해 나갈 예정입니다.