진한 칸일수록 이 직업에서 해당 지표가 높습니다.
낮음높음
MLOps 엔지니어는 기계 학습 실험을 반복 가능하고 모니터링되는 서비스로 전환합니다. 데이터 및 교육 파이프라인을 구축하고, 모델을 패키징하고, 클라우드 또는 엣지 환경에 배포하고, 버전을 추적하고, 성능을 모니터링하고, 롤백 절차를 생성합니다. 소규모 팀에서는 애플리케이션 코드를 작성할 수도 있습니다. 대규모 팀에서는 많은 데이터 과학 팀을 위한 공유 플랫폼을 운영합니다.
데이터 과학자는 일반적으로 문제 프레이밍, 데이터 분석 및 모델 개발에 중점을 둡니다. MLOps는 시간이 지남에 따라 모델을 재현, 배포 및 관찰할 수 있도록 만드는 데 중점을 둡니다. 구별이 절대적이지는 않습니다. 강력한 팀은 평가 및 데이터 품질을 위해 협력하는 반면, MLOps 엔지니어는 배포 후 모델이 어떻게 실패할 수 있는지 이해하기 위해 충분한 ML 지식이 필요합니다.
아니요. 컴퓨터 과학, 공학 또는 데이터 중심 학위가 일반적이지만 실용적인 소프트웨어, 클라우드 및 데이터 플랫폼 경험은 고급 연구 자격증보다 더 중요할 수 있습니다. 새로운 모델을 구축하는 역할은 대학원 공부를 선호할 수 있습니다. ML 플랫폼을 운영하는 역할은 일반적으로 생산 엔지니어링, 인프라 및 신중한 실험을 높이 평가합니다.
Python은 대부분의 ML 생태계에서 사용되기 때문에 일반적입니다. SQL은 데이터 작업에 필수적인 반면 Docker, YAML 및 코드형 인프라 구성은 일상적인 도구입니다. 일부 플랫폼 팀에서는 Go, Java, Scala 또는 TypeScript도 사용합니다. 중요한 기능은 하나의 언어에 대한 충성도가 아니라 파이프라인을 테스트, 버전 관리 및 관찰 가능하게 만드는 것입니다.
모델 드리프트는 환경, 사용자 행동, 입력 또는 결과가 변경되기 때문에 배포된 모델의 유용성이 떨어지는 것을 설명합니다. 작년 패턴으로 훈련된 사기 모델은 새로운 사기를 놓칠 수도 있습니다. 입력 분포, 예측 품질 및 비즈니스 결과를 모니터링하면 눈에 띄지 않는 감소가 해로운 결정으로 변하기 전에 팀이 드리프트를 발견하는 데 도움이 됩니다.
MLOps는 자동화, 버전 제어, 지속적인 전달, 공유 소유권 등 DevOps 아이디어를 차용하지만 데이터 및 모델 문제를 추가합니다. 애플리케이션 코드는 변경되지 않더라도 훈련 데이터는 변경되므로 모델이 변경될 수 있습니다. 팀은 데이터세트 버전을 관리하고, 모델 동작을 평가하고, 실험을 관리하고, 예측 품질과 서버 상태를 모니터링해야 합니다.
MLOps는 여러 분야의 교차점이므로 단일 창립자가 없습니다. 그 지적 조상에는 기계 학습 연구자, 데이터 시스템 구축자, 소프트웨어 신뢰성 옹호자 및 모델 성능이 현실 세계에서 평가되어야 한다고 주장하는 사람들이 포함됩니다.
“데이터 인프라는 새로운 알고리즘이 구현되기 오래 전에 어떤 모델이 가능한지 변경할 수 있습니다.”
Li는 ImageNet 프로젝트를 이끌었습니다. 이 프로젝트의 대규모 레이블이 지정된 데이터세트와 벤치마크는 컴퓨터 비전 연구를 변화시키고 기계 학습에 대한 데이터 인프라의 중요성을 드러냈습니다.
ImageNet은 수백만 개의 레이블이 지정된 이미지를 WordNet 카테고리에 따라 정리하는 프로젝트로 2006년에 시작되었습니다. 2012년 대회는 심층 신경망이 결과를 극적으로 향상시켜 나중에 MLOps 팀이 처리하는 컴퓨팅, 데이터 및 배포 문제를 가속화하는 전환점이 되었습니다.
“데이터 인프라는 새로운 알고리즘이 구현되기 오래 전에 어떤 모델이 가능한지 변경할 수 있습니다.”
Dean은 Google 시스템의 기초 논문을 공동 집필했으며 TensorFlow를 이끌어 대규모 분산 시스템을 실용적인 머신러닝 인프라에 연결하는 데 도움을 주었습니다.
Google의 2016년 오픈소스 TensorFlow 릴리스는 연구원과 생산 엔지니어에게 많은 머신러닝 작업 부하를 설명하고 실행하기 위한 공통 프레임워크를 제공했습니다. 이는 프레임워크, 도구 및 배포 환경이 연구에서 제품으로 이동할 수 있는 아이디어에 어떻게 영향을 미치는지 강조했습니다.
“공유 플랫폼은 고립된 기술 역량을 반복 가능한 조직 역량으로 전환합니다.”
Koller는 확률론적 모델링에 큰 공헌을 했으며 Coursera와 Insitro를 공동 창립하여 기계 학습 연구를 대규모 운영 조직에 연결했습니다.
스탠포드에서 Koller는 학생과 실무자에게 불확실성과 구조화된 예측에 대한 체계적인 어휘를 제공하는 확률 그래픽 모델 교과서를 공동 집필했습니다. 온라인 학습 및 약물 발견을 중심으로 한 그녀의 이후 작업은 모델에 필요한 시스템을 보여줍니다.
“모델의 가치는 이를 사용하고, 테스트하고, 유지할 수 있는 조직에 따라 달라집니다.”
해석 가능한 기계 학습에 대한 Rudin의 작업은 팀이 설명이 필요한 고위험 설정에서 투명한 모델을 사용하도록 요구합니다.
Rudin은 고부담 결정의 경우 사후 설명과 짝을 이루는 불투명한 모델은 처음부터 해석 가능하도록 설계된 모델을 대체하기에는 좋지 않은 경우가 많다고 주장했습니다. 이 주장은 MLOps 평가 및 모델 승인 관행에 직접적인 영향을 미칩니다.
“결정이 사람들에게 깊은 영향을 미치는 경우 설명 가능성은 대시보드 추가 기능이 아니라 설계 요구 사항입니다.”
분산 데이터 시스템에 대한 Kleppmann의 글은 엔지니어에게 신뢰할 수 있는 ML 데이터 파이프라인의 핵심 문제인 복제, 일관성 및 스트림 처리를 위한 실용적인 프레임워크를 제공했습니다.
그의 2017년 저서 데이터 집약적 애플리케이션 설계는 힘들게 얻은 분산 시스템 교훈을 널리 읽히는 엔지니어링 가이드로 번역했습니다. MLOps 엔지니어는 학습 및 추론 데이터 흐름을 구축할 때 계보, 대기 시간, 정확성 및 실패에 대해 동일한 질문을 사용합니다.
“데이터 파이프라인은 생산 시스템입니다. 불일치, 지연 및 실패에 대비하여 설계하십시오.”
Thomas는 fast.ai와 비영리 fastai 커뮤니티를 공동 창립하여 실용적인 딥 러닝 교육과 배포된 모델의 사회적 결과를 강조했습니다.
fast.ai 과정을 통해 Thomas와 공동 작업자는 엘리트 연구실 외부의 많은 학습자가 접근할 수 있는 실용적인 딥 러닝 교육을 만들었습니다. 나중에 책임에 대한 그녀의 옹호는 배포 팀이 정확성뿐만 아니라 피해도 측정해야 한다는 생각을 강화했습니다.
“시스템 구축을 더 쉽게 만든다고 해서 그것이 누구에게 영향을 미치는지 이해해야 할 의무가 없어지는 것은 아닙니다.”
기계 학습 시스템 설계에 대한 Huyen의 저술 및 교육은 MLOps 분야에 데이터 배포, 배포 및 모니터링을 위한 실용적인 어휘를 제공했습니다.
그녀의 2022년 저서 Designing Machine Learning Systems는 엔지니어링 팀 전체에 흩어져 있던 운영 교훈(데이터 배포 전환, 피드백 루프, 평가 및 인프라)을 수집했습니다. 이는 MLOps를 구체적으로 만들려는 사람들에게 일반적인 참고 자료가 되었습니다.
“배포를 모델 개발의 끝이 아닌 모델 증거의 시작으로 간주합니다.”
데이터 세트 문서화 및 대규모 언어 모델로 인한 피해에 대한 Gebru의 연구는 프로덕션 AI 팀의 평가, 출처 및 거버넌스의 핵심 관심사를 만들었습니다.
Gebru은 2018년 "데이터세트용 데이터시트" 논문을 공동 집필하여 데이터세트의 동기, 구성 및 수집에 대한 표준화된 문서를 제안했습니다. 이 아이디어는 운영 팀이 모델을 새로운 환경에 배포하기 전에 모델의 교육 자료가 무엇을 나타내는지 물어볼 수 있는 방법을 제공합니다.
“데이터에 문서화된 출처와 한계가 없는 경우 모델 신뢰도는 증거가 아닙니다.”
그래프는 이 목록 1위 기준 상대값입니다.
이름을 켜고 끄면 — 모든 막대가 선택된 그룹의 1위를 기준으로 다시 계산된다.
MLOps, ML 엔지니어링, 데이터 엔지니어링, 플랫폼 엔지니어링 간의 경계는 기업이 동일한 작업을 다르게 구성하기 때문에 논쟁의 여지가 있습니다. 유용한 질문은 제목이 아니라 재현성, 배포, 모니터링 및 모델 위험을 누가 소유하고 있는지입니다.
팀은 또한 모든 모델에 복잡한 플랫폼이 필요한지 여부에 대해 토론합니다. 간단하고 잘 문서화된 파이프라인을 사용하면 소규모의 위험도가 낮은 애플리케이션이 더 안전할 수 있습니다. 과도한 엔지니어링으로 인해 운영 부채가 발생할 수 있습니다.
같은 분야만이 아니라 여섯 점수 프로필이 가까운 직업입니다.
디지털 공격을 찾아내고 예방하며 대응함으로써 시스템, 데이터, 사람을 지킨다.
AI 내성 63 🧫임상, 시험 및 건강 시스템 데이터를 사용하여 보다 안전한 치료, 연구 및 운영 결정을 위한 신뢰할 수 있는 증거를 생성합니다.
AI 내성 68 🔌컴퓨터, 휴대폰, 무기 등 거의 모든 전자기기 내부의 트랜지스터를 설계하고 제조하며, 지구상 극소수 공장만이 다룰 수 있는 초정밀 장비를 다룬다.
AI 내성 60 🦾물리적 세계를 감지하고 판단하고 행동하는 기계를 설계하는 사람으로, 진짜 난제는 지능이 아니라 언제나 세계 그 자체였다.
AI 내성 65 🌿조직이 비즈니스 의무를 이행하면서 환경 및 사회적 피해를 줄이는 데 도움이 되는 전략, 측정 및 보고를 주도합니다.
AI 내성 66 👔의뢰인에게 조언하고 그들을 구속하는 문서를 작성하며 사건이 법정에 이르면 대신 다투는 직업으로, 조언이 잘못되면 개인적으로 법적 책임을 진다.
AI 내성 58현대 사회를 움직이는 코드를 작성하고 테스트하고 유지보수하는 직업이며, AI가 자기 일상 업무를 자동화하는 모습을 가장 먼저 지켜보는 직업 중 하나다.
AI 내성 35 🤖기계 지능을 뒷받침하는 알고리즘을 설계하고 검증하는 직업으로, 이제는 자기 자신의 연구 과정 상당 부분을 자동화하려는 경쟁이 벌어지는 분야이기도 하다.
AI 내성 50 🛰️지상을 벗어나는 항공기, 로켓, 우주선을 설계하고 분석하고 인증하며, 추측의 여지가 없는 안전 여유를 다루는 직업이다.
AI 내성 74 🌉강과 바위와 중력을 다리, 도로, 맑은 물로 바꾸는 직업 — 임호테프 이래 문명을 떠받쳐온 조용한 하중지지의 업.
AI 내성 72 🔌컴퓨터, 휴대폰, 무기 등 거의 모든 전자기기 내부의 트랜지스터를 설계하고 제조하며, 지구상 극소수 공장만이 다룰 수 있는 초정밀 장비를 다룬다.
AI 내성 60 🦾물리적 세계를 감지하고 판단하고 행동하는 기계를 설계하는 사람으로, 진짜 난제는 지능이 아니라 언제나 세계 그 자체였다.
AI 내성 65 🔐디지털 공격을 찾아내고 예방하며 대응함으로써 시스템, 데이터, 사람을 지킨다.
AI 내성 63 🌬️재생 가능한 자원을 신뢰할 수 있는 전기로 전환하는 풍력, 태양열, 저장 및 그리드 시스템을 설계, 구축 및 개선합니다.
AI 내성 72