이 글에서는 Databricks Unity Catalog와 Amazon SageMaker AI를 Amazon EMR Serverless를 활용해 통합하는 LLM 파인튜닝 워크플로우를 소개합니다. Ministral-3-3B-Instruct 모델을 파인튜닝하고 학습된 결과물을 Unity Catalog에 등록하는 과정을 보여줍니다.
보안 데이터를 안전하게 접근하고 서비스 간 데이터 lineage를 유지하며, 기존 서비스를 활용하면서도 중앙 집중식 거버넌스를 유지할 수 있습니다.
이 솔루션은 보안 또는 규정 준수 요구 사항을 손상시키지 않으면서 데이터 lineage를 추적하는 방법을 제시합니다.