Model Ops

ModelOps
ModelOps 사이클을 나타냅니다.

Gartner가 정의한 ModelOps(모델 운영)는 "기계 학습, 지식 그래프, 규칙, 최적화, 언어 및 에이전트 기반 모델을 포함한 광범위한 운영형 인공지능(AI) 및 의사결정 모델의 거버넌스 및 라이프 사이클 관리에 주로 초점을 맞추고 있습니다."[1]"ModelOps는 모든 엔터프라이즈 AI 전략의 핵심에 있습니다."[2]모델을 실전 가동에 투입한 후 기술 KPI와 비즈니스 KPI를 모두 포함한 일련의 거버넌스 규칙에 따라 애플리케이션을 평가 및 업데이트하는 등 전사적으로 실전 가동 중인 모든 모델의 모델 라이프 사이클을 조정합니다.비즈니스 영역 전문가에게 데이터 [3]과학자에 의존하지 않고 생산 시 AI 모델을 평가할 수 있는 권한을 부여합니다.

Forbes 기사에서 ModelOps를 홍보했습니다. "기업들이 AI 이니셔티브를 확장하여 진정한 엔터프라이즈 AI 조직이 될 때, 완전한 운영 분석 기능을 갖추면 DataOps와 DevOps를 [4]모두 연결하는 ModelOps가 중심에 놓입니다."

역사

2018년 가트너 조사에서는 37%의 응답자가 어떤 형태로든 AI를 구축했다고 답했지만, 가트너는 도입 [5]과제를 거론하며 기업이 AI를 구현하기에는 아직 멀었다고 지적했다.기업은 미도입, 미사용, 업데이트되지 않은 모델을 축적하고 있으며, 수작업으로(대부분 사업부 수준에서) 구축하여 기업 [6]전체의 리스크에 대한 노출을 증가시키고 있었습니다.독립 분석 기관인 Forrester도 기계 학습 및 예측 분석 공급업체에 대한 2018년 보고서에서 이 주제에 대해 다뤘습니다. "데이터 과학자들은 정기적으로 자신들의 모델이 가끔 또는 전혀 구현되지 않는다고 불평합니다.애플리케이션의 모델 적용 방법과 설계 방법을 이해하는 데 있어 조직의 혼란이 큰 문제입니다.하지만 이 문제의 또 다른 큰 부분은 기술이다.모델은 모델 [7]관리가 필요하기 때문에 소프트웨어 코드와 다릅니다."

2018년 12월 IBM Research AI의 Waldemar Hummer와 Vinod Muthusamy는 IBM Programming Languages [8]Day에서 ModelOps를 "재활용되고 플랫폼에 의존하지 않으며 구성 가능한 AI 워크플로우를 위한 프로그래밍 모델"로 제안했습니다.발표에서, 그들은 DevOps로 대표되는 애플리케이션 개발 라이프사이클과 AI 애플리케이션 [9]라이프사이클의 차이점에 주목했습니다.

ModelOps 개발의 목표는 모델 배포와 모델 거버넌스 간의 격차를 해소하고, 모든 모델이 강력한 거버넌스로 운영 환경에서 실행되도록 하는 동시에 기술 및 비즈니스 KPI와 연계되도록 보장하는 동시에 리스크를 관리하는 것이었습니다.Hummer와 Muthusamy는 발표에서 모델 버전이 비즈니스 앱과 일치하도록 지원하는 AI 인식 단계별 배치 및 재사용 가능한 컴포넌트를 위한 프로그램 솔루션에 대해 설명했으며 여기에는 모델 모니터링, 드리프트 감지 및 능동 학습과 같은 AI 모델 개념이 포함됩니다.이 솔루션은 또한 모델 성능과 비즈니스 핵심 성능 지표(KPI), 애플리케이션 및 모델 로그, 모델 프록시 및 발전하는 정책 간의 긴장도 해결할 수 있습니다.다양한 클라우드 플랫폼이 제안의 일부였습니다.2019년 6월, Hummer, Muthusamy, Thomas Rausch, Parijat Dube 및 Kaoutar El Maghraoui는 2019 IEEE 국제 클라우드 엔지니어링 컨퍼런스(IC2E)[10]에서 논문을 발표했습니다.이 논문은 2018년 프레젠테이션을 확대하여 인공지능(AI) 애플리케이션의 엔드 투 엔드 개발과 라이프사이클 관리를 위한 클라우드 기반 프레임워크 및 플랫폼으로 ModelOps를 제안했습니다.요약에서, 그들은 프레임워크가 소프트웨어 라이프사이클 관리 원칙을 확장하여 AI 모델 [11]파이프라인의 자동화, 신뢰, 신뢰성, 추적성, 품질 관리 및 재현성을 가능하게 하는 방법을 보여줄 것이라고 언급했다.2020년 3월, ModelOp, Inc.는 ModelOps 방법론에 대한 최초의 포괄적인 가이드를 발표했습니다.이 출판물의 목적은 ModelOps의 [12]기능 개요와 ModelOps 프랙티스를 구현하기 위한 기술적 및 조직적 요건을 제공하는 것이었습니다.

사용 사례

ModelOps의 대표적인 사용 사례는 금융 서비스 분야입니다. 금융 서비스 부문에서는 수백 개의 시계열 모델을 사용하여 편견과 감사 용이성에 대한 엄격한 규칙에 초점을 맞추고 있습니다.이 경우 모델의 공정성과 견고성이 중요합니다.즉, 모델은 공정하고 정확해야 하며 신뢰성 있게 실행되어야 합니다.ModelOps는 생산 중인 모델의 모델 수명 주기를 자동화합니다.이러한 자동화에는 모델 실행 시 모델을 관리 및 감시하기 위한 기술, 비즈니스 및 컴플라이언스 KPI 및 임계값을 포함한 모델 라이프 사이클 설계, 모델에 대한 편견 및 기타 기술 및 비즈니스 이상 모니터링, 애플리케이션을 중단하지 않고 필요에 따라 모델 업데이트 등이 포함됩니다.ModelOps는 모든 열차가 정시에 올바른 궤도로 계속 운행되도록 하여 위험 통제, 컴플라이언스 및 비즈니스 성과를 보장하는 디스패처입니다.

또 다른 활용 사례는 환자의 실시간 데이터를 기반으로 당뇨병 환자의 혈당 수치를 모니터링하는 것입니다.저혈당을 예측할 수 있는 모델은 현재 데이터를 사용하여 지속적으로 갱신해야 하며, 비즈니스 KPI 및 이상 징후는 지속적으로 모니터링해야 하며 분산 환경에서 사용할 수 있어야 합니다. 따라서 정보를 모바일 장치에서 사용할 수 있을 뿐만 아니라 더 큰 시스템에 보고할 수 있어야 합니다.조정, 거버넌스, 재교육, 모니터링 및 업데이트는 ModelOps를 통해 수행됩니다.

Model Ops 프로세스

ModelOps 프로세스는 전사적으로 프로덕션 모델의 거버넌스, 관리 및 모니터링을 자동화하여 AI 및 애플리케이션 개발자가 라이프 사이클 기능(예: 바이어스 감지, 견고성 및 신뢰성, 드리프트 감지, 기술, 비즈니스 및 컴플라이언스 KPI, 규제 제약)에 쉽게 연결할 수 있도록 지원합니다.d 승인 흐름)을 통해 AI 모델을 비즈니스 애플리케이션으로 생산하기 위한 것입니다.프로세스는 모델 구축에 필요한 모든 컴포넌트와 의존적인 부분(예: 데이터, 하드웨어 및 소프트웨어 환경, 분류기, 코드 플러그인)을 포함하는 메타모델(모델 사양)을 포함하는 생산 후보 모델의 표준 표현으로 시작합니다.그리고 가장 중요한 것은 비즈니스입니다.d 컴플라이언스/리스크 KPI

Model Ops:MLOps의 진화

MLOps(기계 학습 작업)는 데이터 과학자와 IT 전문가가 기계 학습 알고리즘을 자동화하면서 협업하고 소통할 수 있는 분야입니다.DevOps의 원칙을 확장하여 머신러닝 모델 및 애플리케이션의 [13]개발 및 도입의 자동화를 지원합니다.관행적으로 MLOps에는 일상적인 기계 학습(ML) 모델이 포함됩니다.그러나 의사결정 최적화 모델, 최적화 모델 및 애플리케이션에 추가된 변환 모델을 포함하도록 모델의 다양성과 용도가 변경되었습니다.ModelOps는 MLOps의 발전으로, 기계학습 모델의 일상적인 배치뿐만 아니라 보다 복잡한 기계학습 [14]모델의 지속적인 재교육, 자동 갱신, 동기화된 개발 및 배치를 포함하도록 원칙을 확장합니다.ModelOps는 MLOps와 [15]관련된 기계학습 모델을 포함하여 모든 AI 모델의 운영화를 의미합니다.

레퍼런스

  1. ^ Brethenoux, Erick. "Gartner Glossary". Gartner. Retrieved 16 December 2020.
  2. ^ Choudhary, Farhan. "Gartner Glossary". Gartner. Retrieved 6 August 2020.[데드링크]
  3. ^ Barot, Soyeb. "A Guidance Framework for Operationalizing Machine Learning". Gartner. Retrieved 6 August 2020.[데드링크]
  4. ^ Wu, Jun. "ModelOps Is The Key To Enterprise AI". Forbes. Retrieved 5 February 2021.
  5. ^ "Gartner Survey Shows 37 Percent of Organizations Have Implemented AI in Some Form". Gartner Newsroom. 2018-01-21.
  6. ^ Wu, Jun (2020), ModelOps Is the Key To Enterprise AI. (published 31 March 2020)
  7. ^ "Multimodal Predictive Analytics and Machine Learning Solutions, Q3 2018" (PDF).
  8. ^ "IBM Programming Languages Day".
  9. ^ Waldemar Hummer and Vinod Muthusamy, A programming model for reusable, platform-independent, and composable AI workflows,. IBM Research AI, 10 December 2018.
  10. ^ "IEEE International Conference on Cloud Engineering (IC2E)".
  11. ^ Hummer, Waldemar; Muthusamy, Vinod. ModelOps: Cloud-based Lifecycle Management for Reliable and Trusted AI. IEEE International Conference on Cloud Engineering. Parijat Dube, Kaoutar El Maghraoui. p. 1.
  12. ^ "ModelOps Essentials: Best Practices for Success with Enterprise AI" (PDF). ModelOp. Retrieved 7 August 2020.
  13. ^ Talagala, Nisha (2018-01-30). "Why MLOps (and not just ML) is your Business' New Competitive Frontier". AITrends.
  14. ^ "Building ModelOps with intelligent automation for cloud-native apps accelerates growth with digital transformation initiatives". 451 Research.
  15. ^ Vashisth, Shubhangi; Brethenoux, Erick; Choudhary, Farhan; Hare, Jim. "Use Gartner's 3-Stage MLOps Framework to Successfully Operationalize Machine Learning Projects". Gartner. Retrieved 7 August 2020.[데드링크]