データサイエンティスト · データからパターンを見つけ予測モデルを構築する職業――2008年生まれの肩書きだが、その土台には数値を数え、検証し、可視化してきた3世紀分の営みがある。
データサイエンスは、このサイトで最も若い職名のひとつでありながら、最も古い技巧のひとつの上に成り立っている――大量の記録の山を、人が行動に移せる主張に変えることだ。「データサイエンティスト」という名前は2008年頃にしか遡れないが、その基盤となる学問は、統計学者たちが3世紀にわたって数値を数え、検証し、可視化してきた歴史を持つ。
この物語全体を貫く糸は2本ある。ひとつは、ロンドンの一商人による死亡表からフィッシャーの作物実験に至る、統計的推論のゆっくりとした専門職化。もうひとつは、その遺産をはるかに急速に、企業の職名や学部、そして一時的に「21世紀で最もセクシーな仕事」という形にまとめ上げた最近の動きである。
ロンドンの服飾商人ジョン・グラントは『死亡表に関する自然的および政治的観察』を出版し、ペスト以来ロンドンが教区ごとに記録してきた毎週の死亡記録を体系的に分析して、都市の人口を推計し、死因のパターンを見出した。個別の逸話ではなく、収集された大量のデータから一般的な結論を導き出そうとした最も早い試みのひとつであり、大学教育を受けていない一商人であったグラントは、この業績によって王立協会の会員に選出された――これはこの分野がのちに得るはるかに新しい名前が、最終的に結びつけられることになる知的な源流である。
ジョン・グラントがロンドン教区の死亡記録の統計的研究を発表し、人口規模と死亡パターンを推計する――収集されたデータから一般的な結論を導く最も早い体系的試みのひとつ。
ダブリンのギネス醸造所の統計学者であったウィリアム・シーリー・ゴセットが、ギネス社が従業員の実名での論文発表を禁じていたため「student」というペンネームで『平均値の確率誤差』を発表し、以後小標本分析で使われ続けるt分布を導入した。
ロザムステッド試験場で数十年分の作物収量データを分析していたロナルド・フィッシャーが、分散分析と現代的な実験計画法を標準的な統計手法として確立する著書を出版する。
イェジ・ネイマンとエゴン・ピアソンの論文『統計的仮説の最も効率的な検定の問題について』が、誤差率を定量化した上で結果が有意かどうかを判断する、統計学の現代的な枠組みを与える。
ジョン・テューキーは論文『データ分析の未来』で、実際のデータを分析することは数理統計学の一分野ではなく、独自の手法を持つ独立した科学として認められるべきだと論じた。
テューキーの著書は、モデルを当てはめる前にデータセットの形状を目で理解するための実践的な道具――箱ひげ図もそのひとつ――を実務者に与えた。
この3人の論文が『AI Magazine』誌に発表され、生のデータマイニングを取り巻くより広範なプロセスとして「データベースからの知識発見」を定式化した。これは1990年代に企業のデータベースが拡大する中で進んだパターン発見の形式化の一部だった。
ベル研究所の統計学者ウィリアム・S・クリーブランドが『データサイエンス:統計学の技術的領域を拡大する行動計画』を発表し、専門のデータサイエンス学部を大学に設置することを提案する。
それぞれLinkedInとFacebookでデータチームを立ち上げていたDJパティルとジェフ・ハマーバッカーが、自分たちのチームが行っていた統計学とエンジニアリングを組み合わせた仕事に対する職名として、独立に「データサイエンティスト」に行き着く。
トーマス・ダベンポートとDJパティルによる2012年10月の記事『データサイエンティスト:21世紀で最もセクシーな仕事』が、10年続く企業の採用ブームと新しい大学学位プログラムの波を引き起こす。
1662年、ロンドンの服飾商人ジョン・グラントが、都市の教区死亡記録の統計分析を発表した。これは個別の逸話ではなく収集データから一般的な結論を導いた最も早い試みのひとつである。ベルギーの天文学者アドルフ・ケトレーは1830年代に「社会物理学」という考え方でこの発想を拡張し、統計分布を人間の特性に適用した。フローレンス・ナイチンゲールは1858年、クリミア戦争の死亡データを用いた極座標図によってこの伝統を実践的な説得へと発展させ、戦闘ではなく劣悪な衛生状態が兵士の死亡の大半を招いていることを英国陸軍省に納得させた――その過程で彼女は王立統計学会の初の女性フェローに選出された。
カール・ピアソンは1901年、若い数理統計学という学問分野の拠点として学術誌『バイオメトリカ』を創刊した。ギネス醸造所で統計学者として働いていたウィリアム・シーリー・ゴセットは、ギネス社が従業員の実名での論文発表を禁じていたため、1908年に「student」というペンネームでt検定を発表した。ロザムステッド試験場で数十年分の作物実験データを分析していたロナルド・フィッシャーの1925年の著書『研究者のための統計的方法』は、分散分析と厳密な実験計画法を導入した。イェジ・ネイマンとエゴン・ピアソンは1933年、仮説検定の正式な枠組みを完成させ、データサイエンスがほぼそのまま継承することになる統計的な道具立てを整えた。
第二次世界大戦は大規模計算を加速させ、人力による計算チームから1946年に発表されたENIACのような最初の電子式汎用コンピュータへと移行を促した。何十年も手計算に費やしてきた統計学者たちは、それまで不可能だった規模の分析を機械で行うようになっていった。1962年、ベル研究所とプリンストン大学の統計学者ジョン・テューキーは論文『データ分析の未来』を発表し、実際のデータの分析が数理統計学の一分野として「不十分にしか教えられていない」と論じ、独自の手法を持ち大学の注目に値する独立した科学として認められるべきだと主張した。
テューキーの1977年の著書『探索的データ分析』は、モデルを当てはめる前にデータセットの形状を理解するための実践的な道具――箱ひげ図もそのひとつ――を実務者に与えた。1980年代から1990年代にかけて企業が拡大する取引データベースを蓄積するにつれ、そこからパターンを見つける「データマイニング」という並行する分野が台頭した。1996年のウサマ・ファイヤド、グレゴリー・ピアテツキー=シャピロ、パドライク・スミスによる論文は、生のデータマイニングと「データベースからの知識発見」というより広いプロセスの区別を定式化した。この10年間にコンサルタントのビル・インモンの著作を通じて広まった企業のデータウェアハウジングは、この仕事に大企業内での恒久的な居場所を与えた。
ベル研究所の統計学者ウィリアム・S・クリーブランドは2001年の論文で、拡大した統計学を指す名前として「データサイエンス」を提唱した。グーグルの2004年のMapReduce論文とそれに続くオープンソースのHadoopフレームワークは、この分野にインターネット規模のデータを扱う安価なツールを与えた。2008年頃、LinkedInとFacebookでそれぞれデータチームを立ち上げていたDJパティルとジェフ・ハマーバッカーが独立に「データサイエンティスト」という職名に行き着き、トーマス・ダベンポートとパティルによる2012年10月のハーバード・ビジネス・レビュー誌の記事が「21世紀で最もセクシーな仕事」と呼んだことで、10年続く企業の採用ブームが起きた。2010年代後半までにこの職は、アナリティクスエンジニア、機械学習エンジニア、プロダクトアナリストといったより専門的な職名へと分化するほど成熟し、その一方で生成AIは、かつて人の手作業を前提としていた定型的なクエリやチャート作成の多くを自動化し始めた。
Neighbouring trades that no longer exist — absorbed, automated or regulated away.
電子コンピュータが登場するはるか以前、1880年代からハーバード大学天文台で星のカタログ作成を行った「ハーバードコンピューターズ」や、1960年代まで軌道計算を手で行ったNASAのキャサリン・ジョンソン、ドロシー・ヴォーン、メアリー・ジャクソンなど――不釣り合いなほど多くが女性であった――労働者チームが、今日ソフトウェアが行う数学的作業を担っていた。電子コンピュータが信頼でき手頃な価格になると、この役割は一世代のうちに吸収された。
1890年の米国国勢調査のために作られたハーマン・ホレリスのパンチカード集計機に続き、キーパンチオペレーターは何十年もの間、メインフレームコンピュータが読み取れるカードに紙の記録を転記する仕事に従事し、これは専用の訓練課程で教えられる専門的な事務技能であった。直接入力できるコンピュータ端末の登場により、この職は1970年代から1980年代にかけてほぼ消滅した。
かつて企業の「データ処理」部門は、多くはCOBOLで作業するプログラマーを雇い、経営陣向けの印刷レポートを翌朝までに用意する夜間バッチジョブのスケジュール作成と実行を主な仕事としていた。セルフサービス型のビジネスインテリジェンスダッシュボードとアドホックなクエリツールが、管理職が自ら数値を取り出すことを可能にし、2000年代までにこの専門職はほぼ完全に姿を消した。
データサイエンスが新しいと主張する能力――大規模データセットにおけるパターン発見、厳密な推論、説得力のある可視化――のいずれにも、グラントの死亡表、フィッシャーの作物実験、テューキーの箱ひげ図という、具体的で検証可能な祖先がある。2001年と2008年に変わったのは主に名前と包装であり、安価なストレージと計算力によって新たな力を得た古い技巧に適用されただけだ。
その後に続いた2012年の「最もセクシーな仕事」ブームは、すでにその過程の一部をたどり終えている。この職名はアナリティクスエンジニア、機械学習エンジニア、プロダクトアナリストへと分裂し、生成AIは2008年当時の職務記述書が当然の前提としていた定型的なクエリ作成やチャート作成を吸収しつつある。基盤となる学問――データのパターンが実際に何を意味するのかを判断すること――は、今回も特定の職名より長く生き残りそうである。
黒板一枚から3000人の共著者を抱える加速器論文まで、物質・エネルギー・空間・時間を支配する数学的法則を導き検証する仕事。
AI-resistant 65 🧬生命そのものを研究する科学者。リンネが種を手作業で命名した時代から、CRISPRでゲノムを編集する今日まで、あらゆる着想を生きた生物で検証し続けてきた。
AI-resistant 64 🧪物質そのものを作り、測る科学者——バビロニアのタプティの蒸留器から今日のロボット実験室まで、スペクトルの意味を決めるのは常にこの人だ。
AI-resistant 70 🔭バビロニアの粘土板から宇宙望遠鏡まで、宇宙を測り続ける科学者。今もデータの中のどの揺らぎが発見なのかを見極めている。
AI-resistant 70 🧮バビロニアの書記からフィールズ賞受賞者、AI支援証明まで――困難な問いを恒久的な確実性へと変え続けてきた職業、一つの定理ごとに。
AI-resistant 70