Коротко о главном
2008, LinkedIn/ФБНазвание должности придумано
HBR, октябрь 2012 г.Статья «Самая сексуальная работа»
2001, КливлендПоле с академическим названием
~$108 тыс./годМедианная заработная плата (США, 2023 г.)
~20%Женщины в поле (США, оценка)
Питон, SQL, РОсновной инструментарий
Специалист по данным извлекает закономерности, прогнозы и рекомендации из данных, используя статистику, программирование и знания предметной области, а затем превращает результат в то, на основании чего может действовать бизнес, государственное учреждение или исследовательская группа. Работа включает в себя написание SQL для извлечения данных из хранилища, их очистку и изменение формы, подгонку статистической модели или модели машинного обучения и объяснение того, что поддерживает и не поддерживает результат.
Название должности намного моложе, чем ремесло, стоящее за ней. Термин «специалист по данным» появился примерно в 2008 году, когда DJ Патил и Джефф Хаммербахер независимо друг от друга остановились на нем, создавая команды по работе с данными в LinkedIn и Facebook, а статистик Уильям С. Кливленд предложил «науку о данных» в качестве академической области только в 2001 году. Исследование Граунтом 1662 года показателей смертности в Лондоне.
Статья в Harvard Business Review за 2012 год, назвавшая эту работу «самой сексуальной работой XXI века», спровоцировала десятилетний бум корпоративного найма и сотни новых университетских программ. С тех пор этот бум назрел: универсальные направления разделились на аналитическую инженерию, машинное обучение и аналитику продуктов, а инструменты искусственного интеллекта теперь выполняют растущую долю рутинных запросов, очистки и составления диаграмм первоначальной работы, которую, как предполагалось, человек будет выполнять вручную.
Частые вопросы
Чем на самом деле занимается специалист по данным изо дня в день?
В отличие от имиджа «построения моделей искусственного интеллекта», большинство дней тратится на написание SQL-запросов и кода Python для извлечения и очистки данных, выполнение статистических тестов или обучающих моделей, а также перевод результатов в диаграмму или заметку, на основании которой может действовать нетехнический участник. Согласно опросам практиков, очистка и подготовка данных занимают примерно половину или более общего рабочего времени.
Нужна ли вам докторская степень, чтобы стать специалистом по данным?
Нет. В отличие от медицины или права, здесь не существует лицензии или единой необходимой степени; степень бакалавра или магистра в области статистики, информатики, математики или соответствующей количественной области является наиболее распространенным путем, и сильное портфолио реальных проектов часто имеет большее значение для работодателей, чем точный диплом. Кандидаты наук чаще встречаются на должностях, связанных с тяжелыми исследованиями или прикладным машинным обучением.
Является ли наука о данных просто статистикой с новым названием?
Не совсем. Он в значительной степени опирается на статистику — экспериментальный план Фишера, исследовательский анализ Тьюки — но добавляет программирование, разработку баз данных и машинное обучение, которые редко преподают на кафедрах классической статистики. Уильям С. Кливленд предложил этот термин в 2001 году специально для описания этой расширенной, сложной для вычислений версии области, построенной на статистике, а не заменяющей ее.
Находится ли наука о данных под угрозой со стороны ИИ?
Суть рутинной работы уже очевидна: инструменты AutoML могут соответствовать и настраивать стандартные модели, а помощники ИИ могут писать SQL-запросы, первые черновики исследовательских диаграмм и шаблонный конвейерный код быстрее, чем человек. Что не было автоматизировано, так это постановка правильного вопроса, оценка того, является ли шаблон значимым или ложным, и принятие на себя ответственности за решение, основанное на результате.
Сколько зарабатывают специалисты по обработке данных?
Это сильно варьируется в зависимости от страны и стажа. По оценкам Бюро статистики труда США, средняя годовая заработная плата специалистов по данным в 2023 году составит примерно 108 000 долларов США, в то время как младшие аналитики часто начинают с уровня около 70 000–95 000 долларов США, а старшие или главные специалисты по данным в крупных технологических компаниях могут зарабатывать 200 000–400 000 долларов США и более в виде совокупного вознаграждения собственным капиталом.
В чем разница между специалистом по данным, аналитиком данных и инженером по машинному обучению?
Аналитик данных обычно отвечает на определенные бизнес-вопросы, используя существующие данные и информационные панели; специалист по обработке данных строит новые статистические модели и проводит прогнозный анализ, часто на основе более запутанных данных; инженер по машинному обучению извлекает модель из блокнота и заставляет ее надежно работать в масштабе производства. Границы постоянно размываются, и многие люди в течение карьеры перемещаются между всеми тремя.
Какие инструменты и языки программирования использует наука о данных?
Доминирует Python, обычно в сочетании с такими библиотеками, как pandas и scikit-learn, а также SQL для запросов к базам данных. R остается распространенным в академических кругах и в сфере биостатистики. Блокноты Jupyter являются стандартной средой для исследовательской работы, а облачные платформы хранилищ данных, такие как Snowflake, BigQuery или Databricks, теперь содержат данные, которые фактически запрашивает большинство специалистов по данным.
Почему «специалист по данным» был назван «самой сексуальной профессией 21 века»?
Томас Дэвенпорт и DJ Патил использовали эту фразу в качестве названия своей статьи в Harvard Business Review за октябрь 2012 года, утверждая, что редкое сочетание статистических навыков, способностей к кодированию и делового суждения, которое требовалось для этой должности, сделало ее одновременно редкой и очень востребованной. Эта фраза прижилась, помогая спровоцировать десятилетний корпоративный бум найма и десятки новых университетских программ.
