エンジニア、1998年ののがデータ駆動システムを示す — 第974節 のがデータ駆動システムを示す

本番環境で機械学習モデルを訓練・配備・監視・ガバナンスするためのシステムを構築する仕事。 エンジニアは、プロトタイプの先で機械学習システムを信頼できるものにする。データサイエンティストがノートブックでモデルを訓練するのに対し、エンジニアは再現可能なパイプライン、特徴量ストア、配備環境、監視、ロールバック経路を構築し、実ユーザー向けに安全に運用できるようにする。この仕事はデータサイエンス、ソフトウェアエンジニアリング、クラウドインフラ、リスク管理のあいだに位置する。 この役割が生まれたのは、企業が「オフラインで良いモデル」と「役に立つプロダクト」は同じではないと気づいたときだ。データは変わり、コードは変わり、コストは上がり、モデルは静かに劣化し、予測には説明やレビューが必要になることもある。の研究者たちは2015年、こうした依存関係と保守作業の蓄積を機械学習システムにおける「隠れた技術的負債」と表現した。業界はその後、その負債を意図的に運用するための略語としてを採用した。

の報酬が高いのは、幅広いスキルが求められること、そして多くの組織が運用慣行の成熟より早くAIを配備しようとしているためだ。生成AIは評価、可観測性、アクセス制御への需要を高めた。同時にパイプラインの雛形、設定、診断といった仕事の一部も自動化するため、長く残るスキルは信頼性の高いシステムを設計し、モデルを信頼するに足る証拠は何かを判断することにある。 機械学習の実験を、反復可能で監視されたサービスに変えることだ。データと訓練のパイプラインを作り、モデルをパッケージ化し、クラウドやエッジに配備し、バージョンを追跡し、性能を監視し、ロールバック手順を整える。小規模チームではアプリケーションコードも書くことがあり、大規模組織では多くのデータサイエンスチーム向けの共有プラットフォームを運用する。

データサイエンティストは一般に問題設定、データ分析、モデル開発に焦点を置く。はモデルを再現可能・配備可能にし、時間をかけて観測できるようにすることに焦点を置く。境界は絶対ではない。強いチームは評価とデータ品質で協働し、エンジニアも配備後にモデルがどう失敗し得るかを理解できるだけの機械学習の知識を必要とする。 必須ではない。コンピューターサイエンス、工学、データ系の学位は一般的だが、高度な研究資格より実務のソフトウェア・クラウド・データプラットフォーム経験のほうが重要なこともある。新しいモデルを作る職は大学院を好む場合がある一方、MLプラットフォームを運用する職は本番エンジニアリング、インフラ、慎重な実験を同様に高く評価する。