データサイエンティスト、1977年のテューキーの『探索的データ分析』が箱ひげ図を普及させる

データからパターンを見つけ予測モデルを構築する職業――2008年生まれの肩書きだが、その土台には数値を数え、検証し、可視化してきた3世紀分の営みがある。 データサイエンティストとは、統計学・プログラミング・専門知識を駆使してデータからパターンや予測、提言を導き出し、企業や行政機関、研究チームが実際に行動へ移せる形にまとめる職業である。仕事の内容は、データウェアハウスからSQLでデータを取り出すこと、データを整形すること、統計モデルや機械学習モデルを当てはめること、そしてその結果が何を裏付け、何を裏付けないのかを説明することまで多岐にわたる。 この職名は、その背後にある技術よりもはるかに新しい。「データサイエンティスト」という言葉は2008年頃、DJパティルとジェフ・ハマーバッカーがそれぞれ独自に、とでデータチームを立ち上げる中で行き着いたものであり、統計学者ウィリアム・S・クリーブランドが「データサイエンス」を学問分野として提唱したのはわずか2001年のことだった。しかし基盤となる学問はそれよりずっと古く、ジョン・テューキーが1960~70年代に探索的データ分析を提唱した流れをたどれば、ロナルド・フィッシャーの1920年代の統計学、さらにはジョン・グラントが1662年にロンドンの死亡記録を研究したことにまで遡る。

2012年のハーバード・ビジネス・レビュー誌の記事が「21世紀で最もセクシーな仕事」と呼んだことをきっかけに、企業の採用ブームが10年続き、数百に及ぶ新しい大学プログラムが誕生した。そのブームはすでに成熟期を迎え、この総称的な職名はアナリティクスエンジニアリング、機械学習エンジニアリング、プロダクトアナリティクスへと分化し、かつては人の手作業を前提としていた定型的なクエリ、データ整形、チャート作成の多くをいまやAIツールが担うようになっている。 「AIモデルを構築している」というイメージとは裏腹に、実際の日々の多くはSQLクエリやコードを書いてデータを取得・整形すること、統計検定やモデル訓練を行うこと、そしてその結果を非技術者の関係者でも行動に移せるチャートやメモに落とし込むことに費やされる。実務者調査では一貫して、データクリーニングと準備が総労働時間の半分以上を占めるという結果が出ている。

いいえ。医学や法律と異なり免許制度や必須の単一学位は存在せず、統計学・コンピュータサイエンス・数学など定量的分野の学士号か修士号が最も一般的な道であり、実際のプロジェクトを積んだポートフォリオの方が、正確な学位よりも採用側にとって重視されることが多い。博士号は研究色の強い職や応用機械学習の職でより一般的である。 厳密には違う。フィッシャーの実験計画法やテューキーの探索的分析など統計学に強く依拠しているが、伝統的な統計学部ではほとんど教えられてこなかったプログラミング、データベース工学、機械学習を加えている。ウィリアム・S・クリーブランドは2001年に、統計学を置き換えるのではなく、それを土台とした計算集約型の拡張分野を指す言葉として、この用語を提唱した。