Skymizer Taiwan이 단일 PCIe 카드에서 최대 700B 파라미터 모델 추론을 가능하게 하는 새로운 아키텍처를 발표했어요.
HTX301 칩 6개와 384GB 메모리를 탑재하여 카드당 약 240W로 로컬 추론을 수행할 수 있으며, 메모리 대역폭 집약적인 토큰 생성 성능을 최적화했어요.
실제 성능은 6월 Computex 행사에서 확인할 수 있으며, GPU의 프리필 단계만 처리하고 모델 가중치와 디코딩은 모두 이 카드에서 실행돼 대규모 모델을 사용할 수 있도록 지원해요.