かつて企業の「データ処理」部門は、多くはCOBOLで作業するプログラマーを雇い、経営陣向けの印刷レポートを翌朝までに用意する夜間バッチジョブのスケジュール作成と実行を主な仕事としていた。セルフサービス型のビジネスインテリジェンスダッシュボードとアドホックなクエリツールが、管理職が自ら数値を取り出すことを可能にし、2000年代までにこの専門職はほぼ完全に姿を消した。
メインフレームのバッチレポートプログラマーはもう存在しない。何がこの仕事を消し、どの職業がその席を取ったかを整理した。
1900年~1935年
統計学者たちが推論を定式化する
カール・ピアソンは1901年、若い数理統計学という学問分野の拠点として学術誌『バイオメトリカ』を創刊した。ギネス醸造所で統計学者として働いていたウィリアム・シーリー・ゴセットは、ギネス社が従業員の実名での論文発表を禁じていたため、1908年に「student」というペンネームでt検定を発表した。ロザムステッド試験場で数十年分の作物実験データを分析していたロナルド・フィッシャーの1925年の著書『研究者のための統計的方法』は、分散分析と厳密な実験計画法を導入した。イェジ・ネイマンとエゴン・ピアソンは1933年、仮説検定の正式な枠組みを完成させ、データサイエンスがほぼそのまま継承することになる統計的な道具立てを整えた。
同じ時期に起きていたこと
1925年
フィッシャー、『研究者のための統計的方法』を出版
ロザムステッド試験場で数十年分の作物収量データを分析していたロナルド・フィッシャーが、分散分析と現代的な実験計画法を標準的な統計手法として確立する著書を出版する。
1933年
ネイマンとピアソン、仮説検定を定式化
イェジ・ネイマンとエゴン・ピアソンの論文『統計的仮説の最も効率的な検定の問題について』が、誤差率を定量化した上で結果が有意かどうかを判断する、統計学の現代的な枠組みを与える。
1962年
テューキー、データ分析は独立した科学だと主張
ジョン・テューキーは論文『データ分析の未来』で、実際のデータを分析することは数理統計学の一分野ではなく、独自の手法を持つ独立した科学として認められるべきだと論じた。
1977年
テューキーの『探索的データ分析』が箱ひげ図を普及させる
テューキーの著書は、モデルを当てはめる前にデータセットの形状を目で理解するための実践的な道具――箱ひげ図もそのひとつ――を実務者に与えた。
その仕事は今どこにあるか
データからパターンを見つけ予測モデルを構築する職業――2008年生まれの肩書きだが、その土台には数値を数え、検証し、可視化してきた3世紀分の営みがある。
📊 データサイエンティスト →かつて企業の「データ処理」部門は、しばしばCOBOLで作業するプログラマーを雇用しており、その主な仕事は、翌朝までに経営陣の印刷レポートを作成する夜間の定時バッチジョブを書いて実行することだった。セルフサービス型のビジネスインテリジェンスダッシュボードやアドホックなクエリツールが登場し、管理職が自分で必要な数字をオンデマンドで取得できるようになったことで、2000年代までにこの専門職はほぼ完全に姿を消した。
1900年〜1935年
統計学者が推論を形式化する
カール・ピアソンは1901年に学術誌『バイオメトリカ』を創刊し、若い数理統計学という分野に拠点を与えた。ギネス醸造所の統計学者として働いていたウィリアム・シーリー・ゴセットは、ギネスが従業員の実名での発表を禁じていたため、1908年に「Student」という筆名でt検定を発表した。ロザムステッド実験農場で何十年分もの作物実験を分析しながら書かれたロナルド・フィッシャーの1925年の著書『研究者のための統計的方法』は、分散分析と厳密な実験計画法を導入した。イェジー・ネイマンとエゴン・ピアソンは1933年、仮説検定の正式な枠組みを完成させ、これが後に臨床データサイエンスがほぼそのまま受け継ぐ統計的な仕組みとなった。
同じ時期に起きていたこと
1925年
フィッシャーが『研究者のための統計的方法』を出版
ロザムステッド実験農場で何十年分もの作物収量データを分析していたロナルド・フィッシャーが、分散分析と現代的な実験計画法を標準的な統計実務として確立する本を出版する。
1933年
ネイマンとピアソンが仮説検定を形式化
イェジー・ネイマンとエゴン・ピアソンの論文『統計的仮説の最も効率的な検定の問題について』が、ある結果が有意かどうかを定量化された誤り率のもとで判断するための、統計学の現代的な枠組みを与える。
1962年
テューキーがデータ分析は独自の科学だと主張
ジョン・テューキーの論文『データ分析の未来』が、実データの分析は数理統計学の小さな一分野ではなく独自の方法を持つ独立した科学として認められるべきだと論じる。
1977年
テューキーの『探索的データ分析』が箱ひげ図を普及
テューキーの著書は、モデルを当てはめる前にデータセットの形を目で理解するための実践的な道具――箱ひげ図もその一つ――を実務者にもたらす。