MLOps: 머신러닝 파이프라인 자동화

최근 머신러닝 프로젝트를 진행하면서 단순히 모델을 만드는 것보다, 이를 운영 환경에 어떻게 안정적으로 배포하고 유지할지에 대한 고민이 커지고 있습니다. 오늘은 머신러닝 시스템의 개발(Dev)과 운영(Ops)을 통합하는 MLOps의 핵심 개념과, 자동화의 완성이라 불리는 Lv.2 구조에 대해 정리해 봅니다.

MLOps란 무엇인가?

MLOps(Machine Learning Operations)는 머신러닝 시스템의 개발(Dev)과 운영(Ops)을 통합하여, 안정적이고 효율적으로 ML 모델을 배포 및 유지 관리하는 문화이자 방식입니다.

단순히 모델을 구현하는 것을 넘어, "데이터 수집 → 학습 → 배포 → 모니터링 → 재학습"에 이르는 전체 라이프사이클을 자동화하고 안정화하는 것이 핵심 목표입니다.

💡 DevOps vs MLOps: 핵심 용어의 차이

일반적인 소프트웨어 개발의 DevOps와 달리, MLOps에는 '데이터'라는 변수가 추가되면서 새로운 개념이 필요합니다.

• CI (Continuous Integration, 지속적 통합)
  • 코드뿐만 아니라 데이터와  데이터 스키마(Schema)까지 테스트의 대상이 됩니다.
• CD (Continuous Deployment, 지속적 배포)
  • 단일 소프트웨어 서비스가 아닌, ML 파이프라인(학습 시스템) 자체를 배포해야 합니다.
• CT (Continuous Training, 지속적 학습) ⭐
  • DevOps와의 가장 큰 차이점입니다.
  • 시간이 지남에 따라 데이터의 분포가 변하므로, 이에 맞춰 모델을 자동으로 재학습(Retraining)시키는 과정이 필수적입니다.

 

MLOps Lifecycle (전체 관리 과정)

데이터가 추출되어 하나의 모델 서비스로 나가기까지의 흐름은 다음과 같습니다.

1. 데이터 추출 (Extraction): 다양한 소스에서 필요한 데이터를 수집
2. 데이터 분석 (EDA): 데이터의 특성을 파악하고 스키마(구조) 이해
3. 데이터 준비 (Preparation): 전처리, 정제, 특성 공학(Feature Engineering) 수행
4. 모델 학습 (Training): 알고리즘을 적용하여 모델 생성
5. 모델 평가 (Evaluation): 모델의 성능(정확도 등) 검증
6. 모델 검증 (Validation): 배포 기준(Baseline)을 넘는지 최종 확인
7. 모델 서빙 (Serving): 실제 운영 환경에 배포하여 예측 서비스 제공
8. 모니터링 (Monitoring): 모델 성능 저하(Drift) 감지 및 재학습 트리거 발동

 MLOps Lv.2 구조: 파이프라인 자동화

구글 클라우드 아키텍처에서 정의하는 Lv.2는 "자동화된 파이프라인 자체를 CI/CD로 배포"하는 단계입니다.

데이터 과학자가 코드를 수정해서 Git에 올리면, 자동으로 테스트가 진행되고 파이프라인이 갱신됩니다. 이후 새로운 데이터가 들어오면 이 파이프라인을 타고 모델이 학습되고 배포됩니다.

 

 

https://docs.cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning?hl=ko