2012年，机器学习运维工程师在做什么

机器学习运维工程师负责让机器学习系统在完成原型阶段之后依然可靠运行。数据科学家或许能在一个笔记本环境中训练出一个模型;而机器学习运维工程师则要构建可复现的流水线、特征存储、部署环境、监控体系和回滚路径,让这个模型能为真实用户安全地运行。这份工作介于数据科学、软件工程、云基础设施和风险管理之间。 这个岗位的出现,源于企业发现一个离线表现良好的模型,并不等同于一个真正有用的产品。数据会变化,代码会变化,成本会上升,一个模型可能悄悄退化,一次预测可能需要解释或复核。谷歌的研究人员在2015年把机器学习系统中不断积累的依赖与维护负担称为'隐藏的技术债务';后来业界采用''一词,作为有意识地管理这种债务的简称。

薪酬优厚,原因在于它要求广泛的能力面,也因为许多组织正试图以快于其运营实践成熟速度的节奏部署人工智能。生成式人工智能提高了对评估、可观测性和访问控制的需求。它同时也让这份工作的一部分——流水线模板、配置和诊断——实现了自动化,因此持久有价值的技能是设计出可靠的系统,并判断怎样的证据才足以让人信任一个模型。 机器学习运维工程师把机器学习实验转化为可重复、可监控的服务。他们构建数据和训练流水线,打包模型,将其部署到云端或边缘环境,追踪版本,监控性能,并制定回滚流程。在较小的团队中,他们也可能编写应用代码;在较大的团队中,他们运营一个供多个数据科学团队共用的平台。

数据科学家通常专注于问题界定、数据分析和模型开发。专注于让模型在长期使用中保持可复现、可部署和可观测。这种区分并非绝对:优秀的团队会在评估和数据质量上展开协作,而工程师也需要具备足够的机器学习知识,以理解一个模型在部署后可能如何失效。 不需要。计算机科学、工程或数据相关学位很常见,但实际的软件、云计算和数据平台经验,往往比高级研究学位更重要。开发新颖模型的岗位可能更看重研究生学历;而运营机器学习平台的岗位通常同样重视生产工程、基础设施和严谨的实验能力。 很常见,因为大多数机器学习生态系统都以它为基础。SQL对数据工作至关重要,而、和基础设施即代码的配置是日常工具。一些平台团队也会使用Go、、或。关键能力不是对某一种语言的忠诚,而是让流水线具备可测试性、可版本化和可观测性。