KAIST 연구팀이 대규모 AI 서버 구축 전 성능과 효율을 검증할 수 있는 시뮬레이션 플랫폼 'LLMServingSim 2.0'을 개발했어요.
이 플랫폼은 기존 GPU뿐 아니라 차세대 AI 반도체인 NPU, PIM 등 다양한 하드웨어 환경을 지원하여, 실제 환경과 유사한 테스트가 가능해요.
연구팀에 따르면 이 시뮬레이터는 AI 인프라 연구자, LLM 서비스 기업, AI 반도체 스타트업 등에게 차세대 AI 인프라 개발에 활용될 수 있으며, 관련 연구 결과는 학회에서 최우수 논문상을 수상했어요.
LLMServingSim 2.0은 아직 상용화되지 않은 미래형 AI 반도체의 성능과 전력 소모, 안정적 동작 등을 가상 환경에서 분석할 수 있도록 지원해요.
이 플랫폼은 실제 AI 서비스 운영 과정에서 발생하는 데이터 처리, 요청 분배, 메모리 활용 등 복잡한 동작을 시스템 수준에서 평가할 수 있도록 설계됐어요.
연구팀은 이 시뮬레이터가 차세대 AI 데이터센터 연구에도 활용 가능성이 크다고 기대하며, 연구자와 산업계가 AI 인프라를 효율적으로 개발하는 데 기여할 것으로 전망했어요.