HexGrid Cloud가 오픈 소스 모델 벤치마크를 진행합니다. 사용자가 원하는 모델과 하드웨어 조합으로 테스트하고 결과를 공유할 예정입니다. Nemotron, Qwen, Llama, Gemma 등 다양한 모델을 지원하며, RTX PRO 6000부터 H200까지 GPU를 선택할 수 있습니다.
벤치마크 결과는 tokens/sec, TTFT, TPOT, 토큰당 비용 등 상세 지표로 공개될 예정입니다. 사용자는 댓글로 원하는 모델과 하드웨어를 제안할 수 있습니다. 현재는 chat/instruct 모델에 집중하며, 단일 H200에 적합한 모델을 선택해야 합니다.