MLOps 7

[애저듣보잡] Azure ML의 CI(통합/관리) 파이프라인 존재 알기

[애저듣보잡] MLOps 101 | ep6. MLOps in Action 엿보기 https://youtu.be/HvfZO9uc_3g MLOps 전반적인 과정을 보여주는 강의 Azure 파이프라인을 사용해 지속적 통합(CI) 가능 Azue ML에서는 각각의 산출물들의 추적/관리가 가능해 파이프라인으로 모두 묶어 처리할 수 있음. ex) 하나의 CI 파이프라인 = 데이터 준비+모델 학습+평가+모델 등록

[애저듣보잡] ML 생애주기 4 - 배포/서빙과 Data Drift

[애저듣보잡] MLOps 101 | ep5. ML 생애주기 4 - 배포 서빙 https://youtu.be/DMwMmTKA2bk 배포/서빙 Azure ML 패키징 및 배포 컨테이너를 이용해 패키징하는 이유 원래 모델을 만들 때 썼던 환경 자체를 예측할 때도 똑같이 사용해야하기 때문 배포환경 설정 중 Computer Type (1) Azure Container Instance (ACI) 개발/테스트 용도로, 제일 빠르고 간단하게 컨테이너 이미지를 실행하는 단일 노드 호스팅 서비스 (2) Azure Kubernetes Services (AKS) 오토 스케일같은 다양한 복잡한 기능을 갖고 있는 멀티 노드 컨테이너 서비스 모델의 모니터링: 데이터 드리프트(Data Drift) 모델의 성능을 모니터링하기 위한 방..

[애저듣보잡] ML 생애주기 3 - 모델 해석

[애저듣보잡] MLOps 101 | ep4. ML 생애주기 3 - 모델 해석 https://youtu.be/LKk3bD8muhs 모델 해석 모델 해석이 중요한 이유 모델의 잘못된 판단(예상과 다른 분류 등)으로 정확도가 높은 경우도 있음. 때문에 모델 해석이 반드시 필요! azureml.interpret로 다양한 관저으로 접근하여 모델 해석 ex) explainer Perturbation 탐색과 ICE는 데이터가 다른 것으로 대체되었을 때 예측을 시뮬레이션하는 기능

[애저듣보잡] ML 생애주기 2 - 실험 학습

[애저듣보잡] MLOps 101 | ep3. ML 생애주기 2 - 실험 학습 https://youtu.be/ceGwH-sho2A 실험/학습 1. 실험, 모델 학습/최적화/비교평가 - 데이터셋과 알고리즘, 하이퍼파라미터 속성들을 통해 연산을 거쳐 모델이 생성됨. - 하이퍼파라미터, 알고리즘, 데이터셋을 바꾸며 최적의 모델을 찾아가는 실험을 함. 2. 실험 추적관리 모델들(input환경들로 연산 수행한 결과를 판단된 것)을 잘 기록 Azure에서 실험 정보들, 사용했던 데이터셋의 상세 정보들을 확인 가능 3. 자동화된 ML (Automated ML) 입력 조건을 자동으로 조합하며 성능을 예측하고 최적의 모델 제공 4. 모델의 검증: 예측성능, 처리성능 (1) 예측 성능 - 모델의 예측값이 실제값에 얼마나 가..

[애저듣보잡] ML 생애주기 1- 데이터준비

[애저듣보잡] MLOps 101 | ep2. ML 생애주기 1 - 데이터 준비 https://youtu.be/zyGYnYZaUEk 데이터 준비 1. 문제/데이터 정의, 가설 수립 2. 데이터 이동/연계 (1) 데이터 수집 (2) 데이터 연계 (3) 데이터셋 공유 및 재사용 Azure ML플랫폼을 사용할 경우 공유 및 재사용에 유리 - 데이터 버전 관리가 가능 - 데이터셋의 여러 메타정보 관리 가능 - 관련 정보들 추가 가능 - 데이터 시각화를 통해 간단하고 신속하게 데이터 확인 가능 3. 데이터 탐색/가공 (1) 데이터셋 및 주피터 노트북에서 탐색 Azure ML플랫폼을 통해 데이터 상태를 보며 부족한 부분 확인 (2) 데이터 레이블링 목표값을 제공 (3) Feature Importance 탐색 Feat..

[애저 듣보잡] MLOps와 DevOps의 차이

[애저듣보잡] MLOps 101 | ep1. MLOps가 뭐길래 https://youtu.be/q2N6NZKxipg DevOps와 MLOps DevOps 개발과 운영을 통합하여 자동화 및 모니터링하는 시스템 MLOps DevOps에 학습 데이터를 공급하여 모델을 생성, 실제 데이터를 모델에 입력하는 과정이 추가된 시스템 [MLOps를 하는 사람들] 모델 생성에 집중 - Data Scientists 모델 배포와 운영에 집중 - Data/Software Engineers MLOps는 성공적인 머신러닝 프로젝트를 위해 필요 정석을 잘 따져 처리를 할 때 성공적, 안정적으로 완료가 되기 때문