マネー・ボール
ベネット・ミラー(監督)、マイケル・ルイスの2003年の著書に基づくオークランド・アスレチックスのビリー・ビーンとアナリストのポール・デポデスタが、ビル・ジェームズのセイバーメトリクスを取り入れた統計分析を用いて、野球界で最も予算の少ないチームの一つで競争力のあるロースターを構築した実話を描く。
濃いマスほど、このテーマでその指標が高いことを示します。
低高
「AIモデルを構築している」というイメージとは裏腹に、実際の日々の多くはSQLクエリやPythonコードを書いてデータを取得・整形すること、統計検定やモデル訓練を行うこと、そしてその結果を非技術者の関係者でも行動に移せるチャートやメモに落とし込むことに費やされる。実務者調査では一貫して、データクリーニングと準備が総労働時間の半分以上を占めるという結果が出ている。
いいえ。医学や法律と異なり免許制度や必須の単一学位は存在せず、統計学・コンピュータサイエンス・数学など定量的分野の学士号か修士号が最も一般的な道であり、実際のプロジェクトを積んだポートフォリオの方が、正確な学位よりも採用側にとって重視されることが多い。博士号は研究色の強い職や応用機械学習の職でより一般的である。
厳密には違う。フィッシャーの実験計画法やテューキーの探索的分析など統計学に強く依拠しているが、伝統的な統計学部ではほとんど教えられてこなかったプログラミング、データベース工学、機械学習を加えている。ウィリアム・S・クリーブランドは2001年に、統計学を置き換えるのではなく、それを土台とした計算集約型の拡張分野を指す言葉として、この用語を提唱した。
定型的な部分はすでにその影響を受けている。AutoMLツールは標準的なモデルの構築・調整を行え、AIアシスタントはSQLクエリの作成、探索的チャートの初稿作成、定型的なパイプラインコードの記述を人より速くこなせる。まだ自動化されていないのは、適切な問いを設定すること、パターンが有意義なのか偶然なのかを判断すること、その結果に基づく意思決定に責任を持つことである。
国や経験年数によって大きく異なる。米国労働統計局によると、2023年時点でデータサイエンティスト職の年収中央値は約10万8000ドルであり、ジュニアアナリストは7万~9万5000ドル程度から始まることが多い一方、大手テック企業のシニアまたはプリンシパルデータサイエンティストは株式報酬を含め総報酬20万~40万ドル以上を得ることもある。
データアナリストは通常、既存のデータとダッシュボードを使って明確に定義されたビジネス上の問いに答える。データサイエンティストは、より雑然としたデータから新たな統計モデルや予測分析を構築する。機械学習エンジニアは、ノートブックの中にあるモデルを本番環境で確実に、大規模に稼働させる役割を担う。この境界は常に曖昧で、多くの人がキャリアの中でこの3つを行き来している。
大衆文化は統計学者を素通りして、より劇的な人物像であるクオンツやアルゴリズムの方へ向かった――データサイエンティストの大衆イメージは、実際に働くデータサイエンティストが日々行っていることよりも、『マネー・ボール』の野球アナリストや『マネー・ショート 華麗なる大逆転』の危機を予見するクオンツに負うところが大きい。
業界内部では、その文化は競争的な公開ベンチマーク、統計にまつわる淡々としたジョーク、そして「モデルカード」という文書形式――「自分のモデルの限界について正直であること」を後付けではなく日常的な職業習慣に変えるもの――によって回っている。
各時代でこの職業が持った地位を0–100で示した。
初期の統計作業の多くは事務員や素人の改革者、ナイチンゲールのような独学の外部者によって担われていた――有用で時に影響力もあったが、それ自体が高い威信を持つことはめったになかった。
ピアソン、フィッシャー、ゴセットは統計学を独自の学術誌と大学学部を持つ学問分野として専門職化し、学術的な敬意を得た一方で、広く一般には依然としてほとんど無縁の存在だった。
メインフレームコンピューティングが広まるにつれ、「データ処理」担当者と統計学者は、経営陣の意思決定にはほとんど関与しない、不可欠だが地味な企業のバックエンド支援と見なされていた。
クリーブランドの2001年の学術的提案は世間の注目をほとんど集めなかったが、ネットフリックスが2006~2009年に行った100万ドルのレコメンドアルゴリズム改善コンテストと、2008年にLinkedInとFacebookで「データサイエンティスト」という言葉が作られたことが、テクノロジー業界内で注目を集め始めた。
ハーバード・ビジネス・レビュー誌の2012年10月の「最もセクシーな仕事」という枠組みが採用ブームと威信の高まりを引き起こした。2020年代までにこの職名はより専門的な役割へと分化し、かつての単一の輝きは幾分薄れたものの、給与と需要は依然として強い。
オークランド・アスレチックスのビリー・ビーンとアナリストのポール・デポデスタが、ビル・ジェームズのセイバーメトリクスを取り入れた統計分析を用いて、野球界で最も予算の少ないチームの一つで競争力のあるロースターを構築した実話を描く。
住宅ローン市場のデータを詳細に分析し、ほとんど誰もその数字を信じる前に2008年の金融危機を予見した数人のアナリストを描く。
数学者がFBI捜査官の兄弟の犯罪捜査を統計分析とパターン認識で助ける話で、応用数学を捜査の道具として米国の一般テレビ視聴者に紹介した。
この英国のアンソロジーシリーズは、データプロファイリングと予測スコアリングが不穏な極端さに至る様子を繰り返し描いており、最も直接的なのは2016年の「ランク社会」の回であり、人をアルゴリズムでランク付けすることへの世間の不安を形作った。
電子コンピュータが仕事を引き継ぐ以前、NASAで手計算によって1962年のマーキュリー軌道ミッションを支えた黒人女性数学者、キャサリン・ジョンソン、ドロシー・ヴォーン、メアリー・ジャクソンの実話を描く。
MITの研究者ジョイ・ブォラムウィニが、顔認識システムが肌の色が濃い人の顔をはるかに高い頻度で誤認識することを発見した経緯を追い、技術的なデータバイアスの発見がアルゴリズムの公平性をめぐる広範な社会的議論へと発展する様子を描く。
2010年に始まったKaggle主催の公開機械学習コンテストは、コンテスト期間中は目に見えるリーダーボードで参加者を順位付けし、締め切り時には隠された検証用データセットに対する最終順位を発表する――参加者はこの瞬間を「シェイクアップ」と呼ぶ。公開リーダーボードへの過剰適合が、一晩でチームの順位を数十位も落とすことがあるためだ。
グーグルのマーガレット・ミッチェルらが2018年の論文で提案した慣行に従い、チームはモデルの想定される用途、訓練データ、既知の限界を出荷前に短い「モデルカード」として記録することが増えており、これはオプションというより職業上の義務として扱われている。
整えられたスライドではなく、Jupyterノートブックのセルとチャートをその場でスクロールしながら探索的な発見を提示することが、データサイエンティストがチームメイトや関係者と初期の結果を共有する既定のやり方であり続けている。
こうしたことのいずれも、この分野の最も古い緊張関係――「データサイエンス」が本当に新しい学問なのか、それとも古い統計学とコンピューティングの仕事により売りやすい名前を付けただけなのか――を解決しない。実務者自身も、同じチームの中でさえ、この点について議論している。
グラントの1662年の死亡表以来変わらないのは、基本的な動き――記録の山を、誰かが行動に移せる主張に変え、そのデータが実際にどこまでその主張を裏付けているかについて正直であること――である。
分野だけでなく、6つのスコアが近い職業です。
帳簿の番人――文字そのものを生み出したほど古い技を受け継ぎ、いまはそれを自動化するために作られたソフトウェアと折り合いをつけている。
AI耐性 35 🗺️会社が次に何を作るべきか、なぜそれを作るのかを決める仕事。顧客のニーズ、事業目標、エンジニアリングの制約を、誰か一人がすべてを所有するわけではない一つの共有計画へとまとめ上げる。
AI耐性 50 💻現代生活を動かすコードを書き、テストし、保守する仕事であり、AIが自分自身の日々の作業を自動化していく様子を最初に目の当たりにしている職業の一つでもある。
AI耐性 35 📣需要を生み出す専門職——ポンペイの壁の広告文やP&Gの1931年の「ブランドマン」覚書から、オークション主導のデジタル時代のフィードまで。
AI耐性 38 📦本番環境で機械学習モデルを訓練・配備・監視・ガバナンスするためのシステムを構築する仕事。
AI耐性 54 🔎人々が製品をどう使うかを研究し、観察された行動、ニーズ、フラストレーションを、チームが設計の指針にできるエビデンスへと変える。
AI耐性 69黒板一枚から3000人の共著者を抱える加速器論文まで、物質・エネルギー・空間・時間を支配する数学的法則を導き検証する仕事。
AI耐性 65 🧬生命そのものを研究する科学者。リンネが種を手作業で命名した時代から、CRISPRでゲノムを編集する今日まで、あらゆる着想を生きた生物で検証し続けてきた。
AI耐性 64 🧪物質そのものを作り、測る科学者——バビロニアのタプティの蒸留器から今日のロボット実験室まで、スペクトルの意味を決めるのは常にこの人だ。
AI耐性 70 🔭バビロニアの粘土板から宇宙望遠鏡まで、宇宙を測り続ける科学者。今もデータの中のどの揺らぎが発見なのかを見極めている。
AI耐性 70 🧮バビロニアの書記からフィールズ賞受賞者、AI支援証明まで――困難な問いを恒久的な確実性へと変え続けてきた職業、一つの定理ごとに。
AI耐性 70 🧿コンピューティング、センシング、通信、材料研究のために量子状態を利用する装置を構築し、測定し、制御する。
AI耐性 78 🧫臨床データ、治験データ、医療システムのデータを用いて、より安全な医療、研究、業務上の意思決定のための信頼できるエビデンスを生み出す。
AI耐性 68