映画2011年
マネー・ボール
ベネット・ミラー(監督)、マイケル・ルイスの2003年の著書に基づくオークランド・アスレチックスのビリー・ビーンとアナリストのポール・デポデスタが、ビル・ジェームズのセイバーメトリクスを取り入れた統計分析を用いて、野球界で最も予算の少ないチームの一つで競争力のあるロースターを構築した実話を描く。
大衆文化は統計学者を素通りして、より劇的な人物像であるクオンツやアルゴリズムの方へ向かった――データサイエンティストの大衆イメージは、実際に働くデータサイエンティストが日々行っていることよりも、『マネー・ボール』の野球アナリストや『マネー・ショート 華麗なる大逆転』の危機を予見するクオンツに負うところが大きい。
業界内部では、その文化は競争的な公開ベンチマーク、統計にまつわる淡々としたジョーク、そして「モデルカード」という文書形式――「自分のモデルの限界について正直であること」を後付けではなく日常的な職業習慣に変えるもの――によって回っている。
Social standing through history
How much status the profession carried in each era, on a 0–100 scale.
1660年代~1899年1900年代~1930年代1950年代~1980年代2001年~2011年2012年~現在
1660年代~1899年
初期の統計作業の多くは事務員や素人の改革者、ナイチンゲールのような独学の外部者によって担われていた――有用で時に影響力もあったが、それ自体が高い威信を持つことはめったになかった。
1900年代~1930年代
ピアソン、フィッシャー、ゴセットは統計学を独自の学術誌と大学学部を持つ学問分野として専門職化し、学術的な敬意を得た一方で、広く一般には依然としてほとんど無縁の存在だった。
1950年代~1980年代
メインフレームコンピューティングが広まるにつれ、「データ処理」担当者と統計学者は、経営陣の意思決定にはほとんど関与しない、不可欠だが地味な企業のバックエンド支援と見なされていた。
2001年~2011年
クリーブランドの2001年の学術的提案は世間の注目をほとんど集めなかったが、ネットフリックスが2006~2009年に行った100万ドルのレコメンドアルゴリズム改善コンテストと、2008年にLinkedInとFacebookで「データサイエンティスト」という言葉が作られたことが、テクノロジー業界内で注目を集め始めた。
2012年~現在
ハーバード・ビジネス・レビュー誌の2012年10月の「最もセクシーな仕事」という枠組みが採用ブームと威信の高まりを引き起こした。2020年代までにこの職名はより専門的な役割へと分化し、かつての単一の輝きは幾分薄れたものの、給与と需要は依然として強い。
In film, books and art
映画2015年
マネー・ショート 華麗なる大逆転
アダム・マッケイ(監督)、マイケル・ルイスの著書に基づく住宅ローン市場のデータを詳細に分析し、ほとんど誰もその数字を信じる前に2008年の金融危機を予見した数人のアナリストを描く。
テレビシリーズ2005年~2010年
ナンバーズ 天才数学者の事件ファイル
ニコラス・ファラッチ、シェリル・ヒュートン(製作)数学者がFBI捜査官の兄弟の犯罪捜査を統計分析とパターン認識で助ける話で、応用数学を捜査の道具として米国の一般テレビ視聴者に紹介した。
テレビシリーズ2011年~
ブラック・ミラー
チャーリー・ブルッカー(製作)この英国のアンソロジーシリーズは、データプロファイリングと予測スコアリングが不穏な極端さに至る様子を繰り返し描いており、最も直接的なのは2016年の「ランク社会」の回であり、人をアルゴリズムでランク付けすることへの世間の不安を形作った。
映画2016年
ドリーム
セオドア・メルフィ(監督)、マーゴット・リー・シェタリーの著書に基づく電子コンピュータが仕事を引き継ぐ以前、NASAで手計算によって1962年のマーキュリー軌道ミッションを支えた黒人女性数学者、キャサリン・ジョンソン、ドロシー・ヴォーン、メアリー・ジャクソンの実話を描く。
ドキュメンタリー2020年
コード化された不平等
シャリーニ・カンタヤ(監督)MITの研究者ジョイ・ブォラムウィニが、顔認識システムが肌の色が濃い人の顔をはるかに高い頻度で誤認識することを発見した経緯を追い、技術的なデータバイアスの発見がアルゴリズムの公平性をめぐる広範な社会的議論へと発展する様子を描く。
Proverbs and idioms
Rites, symbols and dress
Kaggleリーダーボードの「シェイクアップ」
2010年に始まったKaggle主催の公開機械学習コンテストは、コンテスト期間中は目に見えるリーダーボードで参加者を順位付けし、締め切り時には隠された検証用データセットに対する最終順位を発表する――参加者はこの瞬間を「シェイクアップ」と呼ぶ。公開リーダーボードへの過剰適合が、一晩でチームの順位を数十位も落とすことがあるためだ。
モデルカードの公開
グーグルのマーガレット・ミッチェルらが2018年の論文で提案した慣行に従い、チームはモデルの想定される用途、訓練データ、既知の限界を出荷前に短い「モデルカード」として記録することが増えており、これはオプションというより職業上の義務として扱われている。
ノートブックのウォークスルー
整えられたスライドではなく、Jupyterノートブックのセルとチャートをその場でスクロールしながら探索的な発見を提示することが、データサイエンティストがチームメイトや関係者と初期の結果を共有する既定のやり方であり続けている。
こうしたことのいずれも、この分野の最も古い緊張関係――「データサイエンス」が本当に新しい学問なのか、それとも古い統計学とコンピューティングの仕事により売りやすい名前を付けただけなのか――を解決しない。実務者自身も、同じチームの中でさえ、この点について議論している。
グラントの1662年の死亡表以来変わらないのは、基本的な動き――記録の山を、誰かが行動に移せる主張に変え、そのデータが実際にどこまでその主張を裏付けているかについて正直であること――である。
Keep exploring
More in Science & Research
⚛️
物理学者
黒板一枚から3000人の共著者を抱える加速器論文まで、物質・エネルギー・空間・時間を支配する数学的法則を導き検証する仕事。
AI-resistant 65 🧬生物学者
生命そのものを研究する科学者。リンネが種を手作業で命名した時代から、CRISPRでゲノムを編集する今日まで、あらゆる着想を生きた生物で検証し続けてきた。
AI-resistant 64 🧪化学者
物質そのものを作り、測る科学者——バビロニアのタプティの蒸留器から今日のロボット実験室まで、スペクトルの意味を決めるのは常にこの人だ。
AI-resistant 70 🔭天文学者
バビロニアの粘土板から宇宙望遠鏡まで、宇宙を測り続ける科学者。今もデータの中のどの揺らぎが発見なのかを見極めている。
AI-resistant 70 🧮数学者
バビロニアの書記からフィールズ賞受賞者、AI支援証明まで――困難な問いを恒久的な確実性へと変え続けてきた職業、一つの定理ごとに。
AI-resistant 70