NASA가 우주 미션 시 무선 통신 불능 상황에 대비해 자체 LLM 의료 AI 비서 'CMO-DA'를 개발했어요. 이 시스템은 클라우드 의존성 없이 현지 하드웨어에서 LLM 추론을 실행하며, RamaLama를 통해 llama.cpp를 활용합니다.
우주 비행사는 실시간으로 지구 의사와 상담하기 어려우므로, CMO-DA는 우주 공간 내 의료 증상 진단 및 치료를 돕는 역할을 해요. RAG 방식으로 우주 비행 의료 문헌을 활용합니다.
RamaLama는 llama.cpp 등 다양한 추론 엔진을 감싸는 오픈 소스 CLI 도구로, AI 모델을 컨테이너 이미지처럼 쉽게 배포할 수 있도록 지원하며, NASA는 이를 통해 신뢰성 있는 의료 의사 결정을 위한 에지 하드웨어 배포를 가능하게 합니다.