Hetzner가 자체 LLM 추론 서비스를 개발하고 있어요. 현재 알파 버전이며, 다음 주에 공개될 예정입니다. 이 서비스는 오픈 소스 모델을 지원하며, 사용자들은 저렴한 비용으로 LLM을 활용할 수 있을 거예요.
Hetzner는 자체 데이터센터에서 LLM 추론을 제공하여, 다른 클라우드 서비스보다 저렴한 가격을 목표로 하고 있습니다. 현재 알파 버전은 제한된 기능만 제공하지만, 향후 더 많은 모델과 기능을 지원할 예정입니다.
Hetzner의 LLM 추론 서비스는 오픈 소스 모델에 대한 접근성을 높이고, LLM 활용 비용을 낮추는 데 기여할 것으로 기대됩니다.