为数据契约做版本管理
一个可复现的模型需要的不只是一次代码提交:要记录输入模式、提取逻辑、时间窗口和转换方式,使日后的运行结果具有一致的含义。
MLOps不仅仅是安装一个框架。这门技艺的核心,是让每一次重要的变更——数据、代码、参数、环境和模型——都具有足够的可追溯性,让团队能够复现一个结果,并在需要时安全地将其撤销。
优秀的从业者能够在不同层面之间自如切换:他们对数据质量故障、训练瓶颈、容器部署和产品指标都有足够的理解,能把合适的人聚到一起。他们的工作缩短了一次有前景的实验与一项可靠服务之间的距离。
工作要求什么
软件工程85
云计算与基础设施88
数据工程86
机器学习素养76
可观测性与可靠性84
跨职能沟通78
软件工程
构建其他工程师能够维护的可测试服务、API和自动化流程。
云计算与基础设施
高效、安全地运营容器、存储、网络和计算资源。
数据工程
创建具备质量检查和血缘追踪能力的可靠、版本化数据流。
机器学习素养
充分理解训练、评估、推理和漂移,以负责任地运营模型。
可观测性与可靠性
在用户发现故障之前,衡量延迟、成本、数据质量和模型结果。
跨职能沟通
让研究人员、开发者、安全团队和产品负责人在证据和权衡上达成一致。
一天的样子
- 7–9
仪表盘与分类
查看流水线健康状况、推理延迟、成本、数据检查和夜间告警。
- 9–12
平台工程
改进一条流水线、部署模板、注册表集成或基础设施瓶颈。
- 12–13
休息与实验回顾
暂时离开运营工作,与同事比较模型或平台结果。
- 13–16
数据与模型协作
与数据科学家和产品团队合作,处理评估、训练数据或一次生产上线。
- 16–19
测试与文档
运行部署检查,更新运维手册,调查性能回退,准备交接说明。
- 19–7
下班或待命
大部分工作按计划进行;生产事故、训练失败或成本激增可能触发呼叫。
门道
从业者真正口耳相传的技艺——不是鸡汤。
分开衡量离线与在线表现
基准指标可能在改善的同时用户结果却在恶化。要定义在线护栏,并在真实决策情境中比较受控发布的效果。
让回滚变得平淡无奇
保留一个已知可靠的模型和部署路径,并在高风险上线制造压力之前先演练回退操作。
先观察输入,再看输出
在延迟的结果标签能够确认模型退化之前,输入分布往往能更早暴露上游数据源的故障或人群的变化。
把特征当作依赖项对待
由另一个服务生成的特征需要明确的责任人、新鲜度预期和测试;否则训练与服务之间的偏差会变成一次隐藏的故障。
为评估预留时间
没有可重复评估集的快速部署,只是把不确定性转移到了生产环境中。上线之前要预留计算资源、评审人员和决策标准。
行当的工具
版本控制与CI/CD
Git与自动化流水线对代码进行版本管理,测试变更,并在各环境之间推进制品。
容器与Kubernetes
Docker和Kubernetes在计算资源之间打包和调度训练或服务负载。
实验追踪与模型注册表
MLflow或云端注册表等工具记录运行记录、制品、审批和可部署的模型版本。
工作流编排器
Airflow、Kubeflow Pipelines、Dagster或托管服务负责调度可重复的数据与训练工作流。
监控与数据校验
可观测性平台和校验库追踪服务健康状况、数据质量、漂移和业务结果。
人如何在此失败
笔记本直接跃迁到生产
在没有流水线、责任人或监控的情况下部署一次性实验,会让第一次数据变化就演变成一次事故。
指标隧道视野
优化单一离线得分,可能掩盖延迟、成本、公平性或用户伤害方面的退化,而这些只会在生产环境中显现。
无人负责的数据依赖
假设某个源表或特征会保持稳定,一旦另一个团队做出改动,就会造成悄无声息的故障。
相近职业
不限同一领域，六项评分最接近的职业。
🔐
网络安全专家
通过发现、防范和响应数字攻击,保护系统、数据与人员的安全。
抗AI 63 🧫临床数据科学家
使用临床、试验和卫生系统数据生成可靠的证据，以实现更安全的护理、研究和运营决策。
抗AI 68 🔌Semiconductor Engineer
Designs and fabricates the transistors inside every computer, phone and weapon, using machines precise enough that only a few factories on Earth can run them.
抗AI 60 🦾Robotics Engineer
Designs the machines that sense, decide and act in the physical world, where the hard problem was never intelligence but the world itself.
抗AI 65 🌿可持续发展经理
领导战略、衡量和报告，帮助组织减少环境和社会危害，同时履行业务义务。
抗AI 66 👔律师
为客户提供法律意见，起草具有约束力的文件，并在案件进入法庭时为其辩护——若建议有误，还须承担个人法律责任。
抗AI 58继续探索
继续探索
工程·技术领域的其他职业
💻
软件工程师
编写、测试并维护支撑现代生活的代码——也是最早目睹人工智能接管自身日常工作的职业之一。
抗AI 35 🤖AI 연구원
기계 지능을 뒷받침하는 알고리즘을 설계하고 검증하는 직업으로, 이제는 자기 자신의 연구 과정 상당 부분을 자동화하려는 경쟁이 벌어지는 분야이기도 하다.
抗AI 50 🛰️航空航天工程师
设计、分析并认证离地而行的飞机、火箭与航天器，在不容猜测的安全裕度下工作。
抗AI 74 🌉土木工程师
把河流、岩石与重力变成桥梁、道路与清洁饮水的职业——自伊姆霍特普起，文明安静的承重行当。
抗AI 72 🔌Semiconductor Engineer
Designs and fabricates the transistors inside every computer, phone and weapon, using machines precise enough that only a few factories on Earth can run them.
抗AI 60 🦾Robotics Engineer
Designs the machines that sense, decide and act in the physical world, where the hard problem was never intelligence but the world itself.
抗AI 65 🔐网络安全专家
通过发现、防范和响应数字攻击,保护系统、数据与人员的安全。
抗AI 63 🌬️可再生能源工程师
设计、建造和改进风能、太阳能、存储和电网系统，将可再生资源转化为可靠的电力。
抗AI 72