와탭랩스가 LLM 기반 애플리케이션의 성능, 비용, 품질을 분석하는 'LLM 옵저버빌리티'를 공개했어요. 사용자 요청 흐름을 트레이스 단위로 기록해 병목 원인 파악을 돕습니다.
이동인 대표는 AI 서비스 장애가 복합적인 원인으로 발생하므로, LLM 운영 전 과정을 통합적으로 관측해야 한다고 강조했어요. GPU 부족, API 응답 지연, 애플리케이션 오류 등을 동시에 분석해야 합니다.
와탭랩스는 올해 하반기까지 산업별 AI 운영 솔루션을 확대하고, 해외 시장에서도 사업 기반을 넓혀 AI 운영의 표준 플랫폼을 만들 계획입니다.