データサイエンスは、このサイトで最も新しい職名の一つでありながら、その土台にあるのは最も古い技能の一つ――大量の記録を、人が行動に移せる主張へと変えることだ。「臨床データサイエンティスト」という名前は2008年頃にさかのぼるにすぎないが、その基盤となる学問は、記録を数え、検証し、可視化してきた統計学者たちの三世紀にわたる歴史を通じてつながっている。
この物語全体を貫く二つの糸がある。一つは、ロンドンの商人による死亡表からフィッシャーの作物実験に至る統計的推論のゆっくりとした専門職化であり、もう一つは、その遺産をはるかに速いペースで、企業の職名、学術部門、そして一時的に「21世紀で最もセクシーな仕事」へとパッケージ化していった、より最近の動きだ。
ロンドンの雑貨商ジョン・グラントは『死亡表に関する自然的・政治的観察』を発表した。これは、ロンドンがペストの時代から保持してきた教区の週次死亡記録を体系的に分析したもので、彼はこれをもとに市の人口を推計し、死因のパターンを特定した。これは、個々の逸話ではなく、集められた大量のデータから一般的な結論を導き出そうとした、知られている最も初期の試みの一つであり、大学教育を受けていない一商店主にすぎなかったグラントに王立協会への選出をもたらした――それは、この分野がはるかに後になって得る名前が最終的に結びつけられることになる知的なルーツだった。
ジョン・グラントがロンドンの教区死亡記録の統計的研究を発表し、人口規模と死亡パターンを推計する。これは、集められたデータを使って一般的な結論を導き出す最も初期の体系的な試みの一つである。
ダブリンのギネス醸造所の統計学者だったウィリアム・シーリー・ゴセットが、ギネスが従業員の実名での発表を禁じていたため、「Student」という筆名で『平均の確率誤差』を発表し、以来小標本分析で使われるt分布を導入する。
ロザムステッド実験農場で何十年分もの作物収量データを分析していたロナルド・フィッシャーが、分散分析と現代的な実験計画法を標準的な統計実務として確立する本を出版する。
イェジー・ネイマンとエゴン・ピアソンの論文『統計的仮説の最も効率的な検定の問題について』が、ある結果が有意かどうかを定量化された誤り率のもとで判断するための、統計学の現代的な枠組みを与える。
ジョン・テューキーの論文『データ分析の未来』が、実データの分析は数理統計学の小さな一分野ではなく独自の方法を持つ独立した科学として認められるべきだと論じる。
テューキーの著書は、モデルを当てはめる前にデータセットの形を目で理解するための実践的な道具――箱ひげ図もその一つ――を実務者にもたらす。
三人による『AIマガジン』誌の論文が、生のデータマイニングを取り巻くより広いプロセスとして「データベースにおける知識発見」を形式化する。これは、拡大する企業データベースにおけるパターン発見を形式化しようとする1990年代の流れの一部だった。
ベル研究所の統計学者ウィリアム・S・クリーブランドが『臨床データサイエンス:統計学分野の技術領域を拡大するための行動計画』を発表し、専用の大学データサイエンス学部を提案する。
それぞれLinkedInとFacebookでデータチームを構築していたDJ・パティルとジェフ・ハマーバッカーが、自分たちのチームが行っていた統計学とエンジニアリングを組み合わせた仕事の職名として、独自に「臨床データサイエンティスト」に落ち着く。
トーマス・ダベンポートとDJ・パティルによる2012年10月の記事『データサイエンティスト:21世紀で最もセクシーな仕事』が、10年に及ぶ企業の採用ブームと新しい大学学位プログラムの波を引き起こす。
1662年、ロンドンの雑貨商ジョン・グラントが市の教区死亡記録の統計分析を発表した。これは、個々の逸話ではなく集められたデータから一般的な結論を導き出す、知られている最も初期の試みの一つだった。ベルギーの天文学者アドルフ・ケトレーは1830年代に「社会物理学」でこの考えを拡張し、統計分布を人間の特性に応用した。フローレンス・ナイチンゲールは1858年、クリミア戦争の死亡データを示す極座標図を使って、戦闘ではなく劣悪な衛生状態が兵士の大半を死に至らしめていることを英国陸軍省に納得させ、この伝統を実践的な説得へと持ち込んだ――その過程で彼女は王立統計学会の初の女性会員となった。
カール・ピアソンは1901年に学術誌『バイオメトリカ』を創刊し、若い数理統計学という分野に拠点を与えた。ギネス醸造所の統計学者として働いていたウィリアム・シーリー・ゴセットは、ギネスが従業員の実名での発表を禁じていたため、1908年に「Student」という筆名でt検定を発表した。ロザムステッド実験農場で何十年分もの作物実験を分析しながら書かれたロナルド・フィッシャーの1925年の著書『研究者のための統計的方法』は、分散分析と厳密な実験計画法を導入した。イェジー・ネイマンとエゴン・ピアソンは1933年、仮説検定の正式な枠組みを完成させ、これが後に臨床データサイエンスがほぼそのまま受け継ぐ統計的な仕組みとなった。
第二次世界大戦は大規模な計算を加速させ、人力による計算チームから、1946年に発表されたENIACのような初期の電子式汎用コンピューターへと移行した。何十年も手計算に費やしてきた統計学者たちは、以前は不可能だった規模で分析を実行するために、ますます機械を使うようになった。1962年、ベル研究所とプリンストン大学の統計学者ジョン・テューキーは『データ分析の未来』を発表し、実データの分析が数理統計学の小さな一分野として「不十分にしか教えられて」おらず、独自の方法と大学からの独自の注目に値する科学として認められるべきだと論じた。
テューキーの1977年の著書『探索的データ分析』は、モデルを当てはめる前にデータセットの形を理解するための実践的な道具――箱ひげ図もその一つ――を実務者にもたらした。1980年代から1990年代にかけて企業が拡大する取引データベースを蓄積するにつれ、その中のパターンを見つけるための並行する学問分野として「データマイニング」が生まれた。1996年のウサマ・ファイヤード、グレゴリー・ピアテツキー=シャピロ、パドライク・スミスによる論文が、生のデータマイニングと、より広い「データベースにおける知識発見」のプロセスとの区別を形式化した。コンサルタントのビル・インモンの著作を通じてその十年間に広まった企業データウェアハウジングは、この仕事に大企業内での恒久的な拠点を与えた。
ベル研究所の統計学者ウィリアム・S・クリーブランドは、2001年の論文で拡張された統計学分野の名前として「臨床データサイエンス」を提唱した。Googleの2004年のMapReduce論文とそれに続くオープンソースのHadoopフレームワークは、この分野にインターネット規模のデータを扱う安価なツールをもたらした。2008年頃、それぞれLinkedInとFacebookでデータチームを構築していたDJ・パティルとジェフ・ハマーバッカーが独自に「臨床データサイエンティスト」という職名に落ち着き、トーマス・ダベンポートとパティルによる2012年10月の『ハーバード・ビジネス・レビュー』の記事がこれを「21世紀で最もセクシーな仕事」と呼んだことが、10年に及ぶ企業の採用ブームを引き起こした。2010年代後半までにこの職務は、生成AIが元の職務内容が人の手作業を前提としていた定型的なクエリ作成やグラフ作成の多くを自動化し始める中でさえ、アナリティクスエンジニア、機械学習エンジニア、プロダクトアナリストといったより専門化した職名へと分裂するほど成熟していた。
もう存在しない近隣の職業 — 吸収され、自動化され、規制で消えた。
電子計算機が登場するはるか前、1880年代からハーバード大学天文台で星を分類した「ハーバード・コンピューターズ」や、1960年代まで軌道計算を手作業で行ったNASAのキャサリン・ジョンソン、ドロシー・ヴォーン、メアリー・ジャクソンなど、不釣り合いなほど多くの女性を含む労働者チームが、現在はソフトウェアが行う数学的な労力を担っていた。電子計算機は、信頼性が高く手頃な価格になってから一世代のうちにこの役割を吸収した。
1890年の米国国勢調査のために作られたハーマン・ホレリスのパンチカード集計機に続き、キーパンチオペレーターは何十年もの間、専用の訓練コースで教えられる専門的な事務スキルとして、紙の記録をメインフレームコンピューターが読み取れるカードに書き写す作業に従事した。直接入力式のコンピューター端末が登場したことで、1970年代から1980年代にかけてこの役割はほぼ姿を消した。
かつて企業の「データ処理」部門は、しばしばCOBOLで作業するプログラマーを雇用しており、その主な仕事は、翌朝までに経営陣の印刷レポートを作成する夜間の定時バッチジョブを書いて実行することだった。セルフサービス型のビジネスインテリジェンスダッシュボードやアドホックなクエリツールが登場し、管理職が自分で必要な数字をオンデマンドで取得できるようになったことで、2000年代までにこの専門職はほぼ完全に姿を消した。
臨床データサイエンスが新しいと主張する能力――大規模データセットにおけるパターン発見、厳密な推論、説得力のある可視化――にはそれぞれ、グラントの死亡表、フィッシャーの作物実験、テューキーの箱ひげ図といった、具体的で検証可能な先祖がいる。2001年と2008年に変わったのは主に、名前とパッケージングであり、それが安価なストレージと計算力によって新たな力を得た古い技能に適用されたにすぎない。
その後に続いた2012年の「セクシーな仕事」ブームは、すでに部分的にその役目を終えている。この職名はアナリティクスエンジニア、機械学習エンジニア、プロダクトアナリストに分裂し、生成AIは2008年当時の元の職務内容が当然視していた定型的なクエリ作成やグラフ作成を吸収しつつある。その基盤となる学問――データの中のパターンが実際に何を意味するかを判断すること――は、この先も再び、特定の職名よりも長く生き残る可能性が高い。
分野だけでなく、6つのスコアが近い職業です。
デジタル攻撃を発見、防止し、対応することで、システム、データ、人々を保護します。
AI耐性 63 🌬️再生可能な資源を信頼できる電力に変える、風力、太陽光、蓄電、送電網のシステムを設計・構築・改善する。
AI耐性 72 🦾感知し、判断し、物理世界で行動する機械を設計する仕事。真の難問は知能ではなく、世界そのものだった。
AI耐性 65 🌿組織が事業上の義務を果たしながら環境・社会への害を減らせるよう、戦略、測定、報告を主導する。
AI耐性 66 🔌自動車のブレーキから核ミサイルの誘導システムまで、あらゆるコンピュータや携帯電話の中にあるトランジスタを設計・製造する。地球上でごく一部の工場しか動かせないほど精密な機械を使う仕事だ。
AI耐性 60 📦本番環境で機械学習モデルを訓練・配備・監視・ガバナンスするためのシステムを構築する仕事。
AI耐性 54黒板一枚から3000人の共著者を抱える加速器論文まで、物質・エネルギー・空間・時間を支配する数学的法則を導き検証する仕事。
AI耐性 65 🧬生命そのものを研究する科学者。リンネが種を手作業で命名した時代から、CRISPRでゲノムを編集する今日まで、あらゆる着想を生きた生物で検証し続けてきた。
AI耐性 64 🧪物質そのものを作り、測る科学者——バビロニアのタプティの蒸留器から今日のロボット実験室まで、スペクトルの意味を決めるのは常にこの人だ。
AI耐性 70 📊データからパターンを見つけ予測モデルを構築する職業――2008年生まれの肩書きだが、その土台には数値を数え、検証し、可視化してきた3世紀分の営みがある。
AI耐性 38 🔭バビロニアの粘土板から宇宙望遠鏡まで、宇宙を測り続ける科学者。今もデータの中のどの揺らぎが発見なのかを見極めている。
AI耐性 70 🧮バビロニアの書記からフィールズ賞受賞者、AI支援証明まで――困難な問いを恒久的な確実性へと変え続けてきた職業、一つの定理ごとに。
AI耐性 70 🧿コンピューティング、センシング、通信、材料研究のために量子状態を利用する装置を構築し、測定し、制御する。
AI耐性 78