엔지니어, 2006년의 클라우드 컴퓨팅이 주류가 되다

는 폭이 필요하고 많은 조직이 운영 관행이 성숙해지는 것보다 더 빠르게 AI를 배포하려고 하기 때문에 높은 보수를 받습니다. 생성적 AI는 평가, 관찰 가능성 및 액세스 제어에 대한 수요를 증가시켰습니다. 또한 파이프라인 템플릿, 구성 및 진단과 같은 작업의 일부를 자동화하므로 내구성 있는 기술은 신뢰할 수 있는 시스템을 설계하고 모델을 신뢰하는 데 충분한 증거가 무엇인지 결정하는 것입니다. 엔지니어는 기계 학습 실험을 반복 가능하고 모니터링되는 서비스로 전환합니다. 데이터 및 교육 파이프라인을 구축하고, 모델을 패키징하고, 클라우드 또는 엣지 환경에 배포하고, 버전을 추적하고, 성능을 모니터링하고, 롤백 절차를 생성합니다. 소규모 팀에서는 애플리케이션 코드를 작성할 수도 있습니다. 대규모 팀에서는 많은 데이터 과학 팀을 위한 공유 플랫폼을 운영합니다.

데이터 과학자는 일반적으로 문제 프레이밍, 데이터 분석 및 모델 개발에 중점을 둡니다. 는 시간이 지남에 따라 모델을 재현, 배포 및 관찰할 수 있도록 만드는 데 중점을 둡니다. 구별이 절대적이지는 않습니다. 강력한 팀은 평가 및 데이터 품질을 위해 협력하는 반면, 엔지니어는 배포 후 모델이 어떻게 실패할 수 있는지 이해하기 위해 충분한 ML 지식이 필요합니다. 아니요. 컴퓨터 과학, 공학 또는 데이터 중심 학위가 일반적이지만 실용적인 소프트웨어, 클라우드 및 데이터 플랫폼 경험은 고급 연구 자격증보다 더 중요할 수 있습니다. 새로운 모델을 구축하는 역할은 대학원 공부를 선호할 수 있습니다. ML 플랫폼을 운영하는 역할은 일반적으로 생산 엔지니어링, 인프라 및 신중한 실험을 높이 평가합니다.

은 대부분의 ML 생태계에서 사용되기 때문에 일반적입니다. SQL은 데이터 작업에 필수적인 반면, 및 코드형 인프라 구성은 일상적인 도구입니다. 일부 플랫폼 팀에서는 Go,, 또는 도 사용합니다. 중요한 기능은 하나의 언어에 대한 충성도가 아니라 파이프라인을 테스트, 버전 관리 및 관찰 가능하게 만드는 것입니다. 모델 드리프트는 환경, 사용자 행동, 입력 또는 결과가 변경되기 때문에 배포된 모델의 유용성이 떨어지는 것을 설명합니다. 작년 패턴으로 훈련된 사기 모델은 새로운 사기를 놓칠 수도 있습니다. 입력 분포, 예측 품질 및 비즈니스 결과를 모니터링하면 눈에 띄지 않는 감소가 해로운 결정으로 변하기 전에 팀이 드리프트를 발견하는 데 도움이 됩니다.