История Data Scientist: от таблиц смертности до искусственного интеллекта

Наука о данных — одна из самых молодых должностей на этом сайте, лежащая на вершине одного из старейших ремесел: превращения стопки записей в утверждение, на основании которого можно действовать. Название «специалист по данным» появилось примерно в 2008 году; лежащая в основе дисциплина насчитывает три столетия, когда статистики подсчитывали, проверяли и визуализировали данные.

Всю эту историю пронизывают две нити: медленная профессионализация статистических выводов, от таблиц смертности лондонских торговцев до испытаний урожая Фишера, и гораздо более быстрое и недавнее оформление этого наследия в корпоративную должность, академический отдел и, короче говоря, в «самую сексуальную работу 21-го века».

Where it began

1662Лондон, Англия

Лондонский галантерейщик Джон Граунт опубликовал «Естественные и политические наблюдения... сделанные на основе отчетов о смертности» - систематический анализ еженедельных приходских записей о смертности, которые Лондон вел со времен чумы, на основе которых он оценил численность населения города и выявил закономерности в причинах смерти. Это была одна из самых ранних известных попыток сделать общие выводы на основе большого количества собранных данных, а не отдельных анекдотов, и она принесла Граунту, владельцу магазина без университетского образования, избрание в Королевское общество — интеллектуальный корень, к которому в конечном итоге будет привязано гораздо более позднее название этой области.

Timeline

1662Граун анализирует лондонские счета смертности

Джон Граунт публикует статистическое исследование записей о смертности в лондонских приходах, оценивая численность населения и структуру смертности — одно из первых систематических применений собранных данных для получения общих выводов.

1908Госсет публикует t-тест как «Студент».

Уильям Сили Госсет, статистик пивоварни Guinness в Дублине, публикует «Вероятную ошибку среднего значения» под псевдонимом «Студент», поскольку сотрудники Guinness запретили сотрудникам публиковаться под собственным именем, введя с тех пор t-распределение, используемое в анализе малой выборки.

1925Фишер публикует «Статистические методы для научных работников».

Рональд Фишер, анализируя данные об урожайности сельскохозяйственных культур на Ротамстедской экспериментальной станции за десятилетия, публикует книгу, в которой дисперсионный анализ и современный дизайн эксперимента считаются стандартной статистической практикой.

1933Нейман и Пирсон формализуют проверку гипотез

Статья Ежи Неймана и Эгона Пирсона «О проблеме наиболее эффективных проверок статистических гипотез» дает статистике современную основу для принятия решения с количественной долей ошибок о том, является ли результат значимым.

1962Тьюки утверждает, что анализ данных — это отдельная наука

В статье Джона Тьюки «Будущее анализа данных» утверждается, что анализ реальных данных заслуживает признания как отдельная наука со своими собственными методами, а не как второстепенная ветвь математической статистики.

1977«Исследовательский анализ данных» Тьюки популяризирует коробчатую диаграмму.

Книга Тьюки дает практикам практические инструменты, в том числе коробчатую диаграмму, для понимания формы набора данных на глаз, прежде чем подгонять к нему какую-либо модель.

1996Файяд, Пятецкий-Шапиро и Смит определяют «открытие знаний»

Статья троицы в журнале AI Magazine формализует «обнаружение знаний в базах данных» как более широкий процесс, связанный с интеллектуальным анализом необработанных данных, что является частью волны 1990-х годов по формализации обнаружения закономерностей в растущих корпоративных базах данных.

2001Кливленд предлагает «науку о данных» как область науки

Статистик Bell Labs Уильям С. Кливленд публикует «Науку о данных: план действий по расширению технических областей в области статистики», предлагая создать специализированные университетские факультеты по науке о данных.

2008Патил и Хаммербахер придумали название должности

Создавая команды по работе с данными в LinkedIn и Facebook соответственно, DJ Патил и Джефф Хаммербахер независимо выбирают «специалист по данным» в качестве названия должности для работы, связанной со статистикой и инженерией, которую выполняли их команды.

2012Harvard Business Review назвал эту работу «самой сексуальной»

Статья Томаса Дэвенпорта и DJ Patil в октябре 2012 года «Исследователь данных: самая сексуальная работа 21-го века» вызывает десятилетний бум корпоративного найма и волну новых университетских образовательных программ.

The eras

1662–1899

Подсчет живых и мертвых

В 1662 году лондонский галантерейщик Джон Граун опубликовал статистический анализ записей о смерти в приходах города, что стало одной из первых известных попыток сделать общие выводы на основе собранных данных, а не отдельных анекдотов. Бельгийский астроном Адольф Кетле расширил эту идею в 1830-х годах в своей «социальной физике», применив статистические распределения к человеческим чертам. Флоренс Найтингейл воплотила эту традицию в практическое убеждение в 1858 году, используя полярную диаграмму данных о смертности во время Крымской войны, чтобы убедить британское военное министерство в том, что плохие санитарные условия, а не боевые действия, убивают большинство солдат, став первой женщиной, избранной членом Королевского статистического общества.

Фотография Рональда Фишера, чьи статистические методы лежат в основе современной науки о данных. — Unknown author Unknown author · Public domain · Wikimedia Commons

1900–1935

Статистики формализуют выводы

Карл Пирсон основал журнал «Биометрика» в 1901 году, чтобы дать приют молодой дисциплине математической статистики. Уильям Сили Госсет, работавший статистиком на пивоварне Guinness, опубликовал t-критерий в 1908 году под псевдонимом «Студент», поскольку компания Guinness запретила сотрудникам публиковать результаты под своим собственным именем. Книга Рональда Фишера 1925 года «Статистические методы для научных работников», написанная в ходе анализа десятилетий испытаний сельскохозяйственных культур на экспериментальной станции в Ротамстеде, представила дисперсионный анализ и строгий план эксперимента. Ежи Нейман и Эгон Пирсон завершили набор инструментов в 1933 году, создав формальную основу для проверки гипотез — наука о данных статистической техники позже унаследовала почти нетронутую.

ENIAC, один из первых электронных компьютеров общего назначения, представленный в 1946 году. — The original uploader was TexasDex at English Wikipedia . · CC BY-SA 3.0 · Wikimedia Commons

1936–1969

Прибывают компьютеры, и Тьюки приводит доводы.

Вторая мировая война ускорила крупномасштабные вычисления: от человеческих вычислительных групп до первых электронных компьютеров общего назначения, таких как ENIAC, представленных в 1946 году. Статистики, десятилетиями проводившие ручные вычисления, все чаще использовали машины для проведения анализа в ранее невозможных масштабах. В 1962 году лаборатории Bell Labs и статистик из Принстона Джон Тьюки опубликовали книгу «Будущее анализа данных», утверждая, что анализ реальных данных «плохо преподается» как второстепенная отрасль математической статистики и заслуживает признания как отдельная наука со своими собственными методами и собственными претензиями на внимание университетов.

Ящичная диаграмма, один из инструментов исследовательского анализа данных, популяризированный Джоном Тьюки. — User:Schutz · Public domain · Wikimedia Commons

1970–1999

Разведочный анализ и бум интеллектуального анализа данных

Книга Тьюки «Исследовательский анализ данных» 1977 года дала практикам практические инструменты, в том числе коробчатую диаграмму, для понимания формы набора данных перед подгонкой к нему какой-либо модели. По мере того, как в 1980-х и 1990-х годах компании накапливали растущие транзакционные базы данных, возникла параллельная дисциплина «интеллектуального анализа данных» для поиска в них закономерностей; В статье 1996 года Усамы Файяда, Грегори Пятецкого-Шапиро и Падраика Смита формализовано различие между интеллектуальным анализом необработанных данных и более широким процессом «обнаружения знаний в базах данных». Корпоративные хранилища данных, популяризированные в течение десятилетия благодаря статьям консультанта Билла Инмона, дали этой работе постоянное место в крупных компаниях.

Концептуальная иллюстрация крупномасштабных данных — сырья для науки о данных XXI века. — Jouasse · CC BY-SA 4.0 · Wikimedia Commons

2000 – настоящее время

Именованный, названный, разрекламированный и специализирующийся

Статистик Bell Labs Уильям С. Кливленд в статье 2001 года предложил «науку о данных» как название расширенной статистической дисциплины. Статья Google MapReduce 2004 года и последовавшая за ней платформа Hadoop с открытым исходным кодом предоставили дешевые инструменты для сбора данных в масштабах Интернета. Примерно в 2008 году DJ Патил и Джефф Хаммербахер, создавшие команды по работе с данными в LinkedIn и Facebook, независимо друг от друга остановились на названии должности «специалист по данным», а статья Томаса Дэвенпорта и Патил в Harvard Business Review за октябрь 2012 года, назвавшая эту работу «самой сексуальной работой 21 века», спровоцировала десятилетний корпоративный бум найма сотрудников. К концу 2010-х годов эта роль стала достаточно зрелой, чтобы разделиться на более специализированные должности — инженер-аналитик, инженер по машинному обучению, аналитик по продуктам — даже несмотря на то, что генеративный ИИ начал автоматизировать большую часть рутинных запросов и составлять диаграммы исходного описания работы, предполагавшего, что человек будет делать это вручную.

What this job replaced

Neighbouring trades that no longer exist — absorbed, automated or regulated away.

Человек-компьютер

1880–1950-е гг.

Задолго до появления электронных компьютеров группы рабочих — непропорционально много женщин, такие как «Гарвардские компьютеры», которые каталогизировали звезды в обсерватории Гарвардского колледжа с 1880-х годов, и Кэтрин Джонсон из НАСА, Дороти Воган и Мэри Джексон, которые вручную рассчитывали орбитальные траектории в 1960-е годы — выполняли математическую работу, которую теперь выполняют программы. Электронные компьютеры взяли на себя роль в течение одного поколения, став надежными и доступными.

Оператор перфокарты/клавиатуры

1890–1970-е годы

После создания перфокарточного табулятора Германа Холлерита, созданного для переписи населения США 1890 года, операторы перфокарт потратили десятилетия на переписывание бумажных записей на карты, которые могли читаться на мэйнфреймах, - специализированный канцелярский навык, которому обучали на специальных учебных курсах. Компьютерные терминалы с прямым входом сделали эту роль в значительной степени устаревшей к 1970-м и 1980-м годам.

Программист пакетных отчетов для мэйнфреймов

1960–2000-е годы

Корпоративные отделы «обработки данных» когда-то нанимали программистов, часто работающих на COBOL, чья основная работа заключалась в написании и выполнении запланированных ночных пакетных заданий, в результате которых на следующее утро руководство готовило печатные отчеты. Панели самообслуживания для бизнес-аналитики и специальные инструменты запросов позволяют менеджерам получать собственные цифры по требованию, что почти полностью закрыло эту специальность к 2000-м годам.

Trades that vanished →

Каждая способность науки о данных, которую наука о данных называет новой — поиск закономерностей в больших наборах данных, строгие выводы, убедительная визуализация — имеет конкретного, проверяемого предка: таблицы смертности Граунта, испытания сельскохозяйственных культур Фишера, коробчатые диаграммы Тьюки. Что изменилось в 2001 и 2008 годах, так это в основном название и упаковка, примененные к старому ремеслу, недавно оснащенному дешевыми хранилищами и компьютерами.

Последовавший за этим бум «самых привлекательных вакансий» 2012 года уже частично исчерпал себя: названия разделились на инженера-аналитика, инженера по машинному обучению и аналитика продуктов, а генеративный искусственный интеллект поглощает рутинные запросы и составление диаграмм, которые первоначальное описание должности 2008 года считалось само собой разумеющимся. Основная дисциплина — принятие решения о том, что на самом деле означает закономерность в данных — похоже, снова переживет конкретную должность.

Similar professions

🧾

Continue exploring

Какая профессия вам подходит? Compare professions Очный разбор

📊Origins & Evolution

Where it began

Timeline