2015年，机器学习运维工程师在做什么

很常见,因为大多数机器学习生态系统都以它为基础。SQL对数据工作至关重要,而、和基础设施即代码的配置是日常工具。一些平台团队也会使用Go、、或。关键能力不是对某一种语言的忠诚,而是让流水线具备可测试性、可版本化和可观测性。 模型漂移是指一个已部署的模型因为外部世界、用户行为、输入或结果发生变化而变得不再那么有用。一个基于去年模式训练的反欺诈模型,可能会漏掉一种新型骗局。监控输入分布、预测质量和业务结果,有助于团队在一次未被察觉的性能下滑演变成有害决策之前,先发现漂移。 借鉴了的理念——自动化、版本控制、持续交付和共同责任——但增加了数据和模型方面的考量。即使应用代码没有变化,一个模型也可能因为训练数据发生变化而改变。团队必须对数据集进行版本管理,评估模型行为,管理实验,并像监控服务器健康状况一样监控预测质量。

薪酬因国家和公司而异。在美国主要的科技和金融市场,经验丰富的工程师的现金加股权总薪酬通常处于较宽的六位数中段区间,而欧洲和亚洲的薪资则采用本地薪酬体系和福利结构。薪酬会随着云计算、分布式系统和负责任人工智能相关经验的增长而提高,但职位名称并未标准化。 它可以生成配置、代码和文档,减少常规的搭建工作。但它无法消除定义评估标准、管理数据权限、控制模型访问、调查故障,或在系统伤害用户时承担责任的需求。生成式模型也带来了新的运营风险,增加了对能够衡量和治理这些风险的人才的需求。 是一个新的职位名称,对应的却是一个古老的运营问题:在受控实验中表现良好的模型,一旦遇到不断变化的数据、真实用户和生产预算,就可能失效。这一职业把机器学习的研究文化,与软件交付和运营的纪律结合了起来。

因此,它的历史与数据工程、云计算和是共通的。这个角色在2010年代末逐渐独立成型,当时各组织正从孤立的单个模型,转向需要持续管理数据、行为和合规的整批模型。 随着云平台和机器学习团队面对生产维护成本的问题,''一词逐渐流传开来。谷歌研究人员2015年发表的论文《机器学习系统中的隐藏技术债务》,为那些把一个模型变成长期存在的系统所涉及的依赖关系、反馈回路和运营复杂性,提供了一套被广泛引用的词汇。 塞缪尔在一个自我改进的跳棋程序研究中描述了机器学习,帮助命名了这个后来被投入生产使用的领域。 谷歌研究人员描述了机器学习系统为何会在模型代码之外积累依赖关系和维护负担。