1998年，机器学习运维工程师在做什么

数据科学家通常专注于问题界定、数据分析和模型开发。专注于让模型在长期使用中保持可复现、可部署和可观测。这种区分并非绝对:优秀的团队会在评估和数据质量上展开协作,而工程师也需要具备足够的机器学习知识,以理解一个模型在部署后可能如何失效。 不需要。计算机科学、工程或数据相关学位很常见,但实际的软件、云计算和数据平台经验,往往比高级研究学位更重要。开发新颖模型的岗位可能更看重研究生学历;而运营机器学习平台的岗位通常同样重视生产工程、基础设施和严谨的实验能力。 很常见,因为大多数机器学习生态系统都以它为基础。SQL对数据工作至关重要,而、和基础设施即代码的配置是日常工具。一些平台团队也会使用Go、、或。关键能力不是对某一种语言的忠诚,而是让流水线具备可测试性、可版本化和可观测性。

借鉴了的理念——自动化、版本控制、持续交付和共同责任——但增加了数据和模型方面的考量。即使应用代码没有变化,一个模型也可能因为训练数据发生变化而改变。团队必须对数据集进行版本管理,评估模型行为,管理实验,并像监控服务器健康状况一样监控预测质量。 薪酬因国家和公司而异。在美国主要的科技和金融市场,经验丰富的工程师的现金加股权总薪酬通常处于较宽的六位数中段区间,而欧洲和亚洲的薪资则采用本地薪酬体系和福利结构。薪酬会随着云计算、分布式系统和负责任人工智能相关经验的增长而提高,但职位名称并未标准化。 它可以生成配置、代码和文档,减少常规的搭建工作。但它无法消除定义评估标准、管理数据权限、控制模型访问、调查故障,或在系统伤害用户时承担责任的需求。生成式模型也带来了新的运营风险,增加了对能够衡量和治理这些风险的人才的需求。

是一个新的职位名称,对应的却是一个古老的运营问题:在受控实验中表现良好的模型,一旦遇到不断变化的数据、真实用户和生产预算,就可能失效。这一职业把机器学习的研究文化,与软件交付和运营的纪律结合了起来。 因此,它的历史与数据工程、云计算和是共通的。这个角色在2010年代末逐渐独立成型,当时各组织正从孤立的单个模型,转向需要持续管理数据、行为和合规的整批模型。 随着云平台和机器学习团队面对生产维护成本的问题,''一词逐渐流传开来。谷歌研究人员2015年发表的论文《机器学习系统中的隐藏技术债务》,为那些把一个模型变成长期存在的系统所涉及的依赖关系、反馈回路和运营复杂性,提供了一套被广泛引用的词汇。