개발자가 LLM 기반의 의료 클리닉 예약 서비스 개발에 8개월간 매달렸지만, 결국 프로젝트를 폐기했습니다. 그는 개인 사용에는 괜찮지만, 제3자에게 서비스를 제공하는 것은 위험하다고 판단했습니다.
OpenRouter를 통해 다양한 LLM(GLM, Deepseek, Mimo, Qwen, ChatGPT, Claude, Minimax)을 사용했지만, 서비스 안정성 문제와 LLM의 예측 불가능한 응답으로 어려움을 겪었습니다.
PydanticAI를 사용해 API 상호작용을 간소화했지만, 동기 환경과의 호환성 문제와 LLM이 구조화된 데이터를 반환하지 않아 검증 과정에서 오류가 빈번하게 발생했습니다. 사용자 이모지 사용으로 봇의 캐릭터가 망가지는 문제도 발생했습니다.
LLM의 예측 불가능성으로 인해 사용자에게 정확한 결과를 보장하기 어려워, 서비스 제공의 신뢰성을 유지하기 힘들다고 판단했습니다.
LLM은 개인적인 사용에는 적합하지만, 제3자에게 서비스를 제공하는 경우에는 예상치 못한 오류와 문제 발생 가능성이 높습니다.
개발자는 LLM 기반 서비스 개발의 어려움을 공유하며, “이제 자유다! 정말 자유다!”라고 기뻐하며 프로젝트를 종료했습니다.