Находит закономерности и строит прогнозные модели на основе данных — должность 2008 года, основанная на трех столетиях подсчета, тестирования и визуализации доказательств.
Also called: Прикладной учёный · Ученый по машинному обучению
Специалист по данным: Находит закономерности и строит прогнозные модели на основе данных — должность 2008 года, основанная на трех столетиях подсчета, тестирования и визуализации доказательств.
HBR, октябрь 2012 г.Статья «Самая сексуальная работа»
2001, КливлендПоле с академическим названием
~$108 тыс./годМедианная заработная плата (США, 2023 г.)
~20%Женщины в поле (США, оценка)
Питон, SQL, РОсновной инструментарий
Специалист по данным извлекает закономерности, прогнозы и рекомендации из данных, используя статистику, программирование и знания предметной области, а затем превращает результат в то, на основании чего может действовать бизнес, государственное учреждение или исследовательская группа. Работа включает в себя написание SQL для извлечения данных из хранилища, их очистку и изменение формы, подгонку статистической модели или модели машинного обучения и объяснение того, что поддерживает и не поддерживает результат.
Название должности намного моложе, чем ремесло, стоящее за ней. Термин «специалист по данным» появился примерно в 2008 году, когда DJ Патил и Джефф Хаммербахер независимо друг от друга остановились на нем, создавая команды по работе с данными в LinkedIn и Facebook, а статистик Уильям С. Кливленд предложил «науку о данных» в качестве академической области только в 2001 году. Исследование Граунтом 1662 года показателей смертности в Лондоне.
Статья в Harvard Business Review за 2012 год, назвавшая эту работу «самой сексуальной работой XXI века», спровоцировала десятилетний бум корпоративного найма и сотни новых университетских программ. С тех пор этот бум назрел: универсальные направления разделились на аналитическую инженерию, машинное обучение и аналитику продуктов, а инструменты искусственного интеллекта теперь выполняют растущую долю рутинных запросов, очистки и составления диаграмм первоначальной работы, которую, как предполагалось, человек будет выполнять вручную.
Inside the profession
Наука о данных — это искусство превращать несовершенные записи в решения, где трудной частью редко является подбор модели и обычно принятие решения о том, что данные могут честно поддерживать.
Большую часть дня занимает работа с доказательствами
Работающие ученые, работающие с данными, запрашивают хранилища, согласовывают определения, проверяют распределения, очищают неработающие поля и объясняют неопределенность. Моделирование важно, но результат заслуживает доверия только тогда, когда можно изучить происхождение его данных, предположения и альтернативы. Самые сильные практики могут сказать заинтересованной стороне, что уверенный вид диаграммы отвечает на неправильный вопрос или что наблюдаемая связь не является свидетельством причины.
За названием скрывается несколько профессий
Специалист по данным о продуктах может разрабатывать эксперименты и измерять результаты функций. Ученый-прикладник может разрабатывать прогнозные модели. Специалист по принятию решений может сосредоточиться на операциях, финансах или политике. В зрелых организациях аналитическая инженерия, обработка данных и машинное обучение поглощают часть старой общей работы. Знание предметной области меняет работу так же, как и технический стек: эксперимент над приложением для покупок — это не исследование результатов лечения пациентов или мошенничество.
Воротам демонстрируются рассуждения
Статистика, информатика, математика, экономика и физика — все это открывает пути. Диплом помогает, но собеседование или портфолио обычно более непосредственно проверяют SQL, статистические рассуждения, качество данных и общение. Надежному проекту не нужна яркая модель; для этого нужен четкий вопрос, документированные данные, соответствующая исходная информация и выводы, соответствующие фактическим данным.
ИИ упрощает рутинный анализ
Помощники могут составлять SQL, диаграммы, сводки и базовые модели. Это действительно меняет работу начального уровня. Он не устанавливает определения измерений, не выявляет скрытую причину, которая может сбить с толку, не выбирает этическое использование прогноза и не принимает на себя ответственность за решение. Профессия движется к формулированию проблем, экспериментированию, причинно-следственным рассуждениям и анализу результатов машинного анализа.
How the work branches
Цифровые продукты
Специалист по данным о продуктах
Использует метрики и эксперименты для выбора продукта, одновременно защищая от вводящей в заблуждение краткосрочной оптимизации.
Прогнозирующие системы
Ученый в области прикладного/машинного обучения
Создает и оценивает модели ранжирования, прогнозирования, обнаружения или персонализации, часто совместно с инженерами ML.
Операции и стратегия
Ученый по принятию решений
Объединяет данные с контекстом бизнеса или государственной политики для поддержки планирования, распределения и принятия решений о рисках.
Рост и причинно-следственные связи
Специалист по экспериментированию
Разрабатывает контролируемые тесты и квазиэксперименты, которые отличают вмешательство от корреляции.
Наука и общественные исследования
Специалист по исследовательским данным
Работает со сложными данными наблюдений или экспериментов, где воспроизводимость и методологическая строгость превосходят быструю доставку продукта.
How it reads by country
США — специализированные издания и интервью
Секторы технологий, финансов и здравоохранения используют это название по-разному, и при приеме на работу часто явно проверяются SQL, эксперименты и общение. Высокая оплата труда сконцентрирована у небольшого числа городов и работодателей.
Южная Корея — платформы, коммерция и корпоративные данные
Крупные потребительские платформы, телекоммуникационные компании и конгломераты поддерживают аналитическую работу, причем контекст на корейском языке часто жизненно важен для данных о продуктах и клиентах. Названия должностей могут размывать роли аналитиков и ученых.
Япония — корпоративные данные и тщательное внедрение
Производственные, финансовые и потребительские компании расширяют возможности аналитики, сохраняя при этом устоявшиеся методы управления данными. Международные команды могут ценить английский язык и опыт работы в облачных технологиях наряду со знанием местной предметной области.
Германия — конфиденциальность и промышленный контекст
Защита данных и представительство работников определяют, какие данные можно собирать и использовать. Работодатели в автомобильной, производственной и исследовательской отраслях создают спрос на людей, которые могут соединить статистику и реальные операции.
Великобритания — Лондон финансы и исследования
Финансовые, консалтинговые и производственные компании сосредоточены вокруг Лондона, а государственные исследовательские и университеты предлагают различные карьерные стимулы. Контрактные роли остаются заметными на рынке.
Сингапур — региональные финансы и платформы
Банки, государственные технологии и региональные штаб-квартиры создают роли данных, охватывающие множество рынков. Регуляторные ожидания и правила трансграничных данных часто являются ограничениями.
Из архива
Самостоятельно размещённые изображения Commons CC/PD для этой профессии.
The profile
Resists AI38
Pay74
Barrier to entry55
Autonomy60
Demand78
Impact66
How exposed is it to AI?
Высокий
Значительная часть рутинной работы по обработке данных — SQL-запросы, исследовательские диаграммы, подгонка стандартной модели с помощью AutoML, написание шаблонного конвейерного кода — сегодня уже автоматизируется или поддерживается искусственным интеллектом, и эта доля быстро растет. Что сопротивляется автоматизации, так это формулирование неоднозначной бизнес-проблемы как проверяемого вопроса, позволяющее оценить, является ли результат реальным или статистическим артефактом, и нести ответственность, когда реальное решение модели оказывается неверным.
Чем на самом деле занимается специалист по данным изо дня в день?
В отличие от имиджа «построения моделей искусственного интеллекта», большинство дней тратится на написание SQL-запросов и кода Python для извлечения и очистки данных, выполнение статистических тестов или обучающих моделей, а также перевод результатов в диаграмму или заметку, на основании которой может действовать нетехнический участник. Согласно опросам практиков, очистка и подготовка данных занимают примерно половину или более общего рабочего времени.
Нужна ли вам докторская степень, чтобы стать специалистом по данным?
Нет. В отличие от медицины или права, здесь не существует лицензии или единой необходимой степени; степень бакалавра или магистра в области статистики, информатики, математики или соответствующей количественной области является наиболее распространенным путем, и сильное портфолио реальных проектов часто имеет большее значение для работодателей, чем точный диплом. Кандидаты наук чаще встречаются на должностях, связанных с тяжелыми исследованиями или прикладным машинным обучением.
Является ли наука о данных просто статистикой с новым названием?
Не совсем. Он в значительной степени опирается на статистику — экспериментальный план Фишера, исследовательский анализ Тьюки — но добавляет программирование, разработку баз данных и машинное обучение, которые редко преподают на кафедрах классической статистики. Уильям С. Кливленд предложил этот термин в 2001 году специально для описания этой расширенной, сложной для вычислений версии области, построенной на статистике, а не заменяющей ее.
Находится ли наука о данных под угрозой со стороны ИИ?
Суть рутинной работы уже очевидна: инструменты AutoML могут соответствовать и настраивать стандартные модели, а помощники ИИ могут писать SQL-запросы, первые черновики исследовательских диаграмм и шаблонный конвейерный код быстрее, чем человек. Что не было автоматизировано, так это постановка правильного вопроса, оценка того, является ли шаблон значимым или ложным, и принятие на себя ответственности за решение, основанное на результате.
Сколько зарабатывают специалисты по обработке данных?
Это сильно варьируется в зависимости от страны и стажа. По оценкам Бюро статистики труда США, средняя годовая заработная плата специалистов по данным в 2023 году составит примерно 108 000 долларов США, в то время как младшие аналитики часто начинают с уровня около 70 000–95 000 долларов США, а старшие или главные специалисты по данным в крупных технологических компаниях могут зарабатывать 200 000–400 000 долларов США и более в виде совокупного вознаграждения собственным капиталом.
В чем разница между специалистом по данным, аналитиком данных и инженером по машинному обучению?
Аналитик данных обычно отвечает на определенные бизнес-вопросы, используя существующие данные и информационные панели; специалист по обработке данных строит новые статистические модели и проводит прогнозный анализ, часто на основе более запутанных данных; инженер по машинному обучению извлекает модель из блокнота и заставляет ее надежно работать в масштабе производства. Границы постоянно размываются, и многие люди в течение карьеры перемещаются между всеми тремя.
Какие инструменты и языки программирования использует наука о данных?
Доминирует Python, обычно в сочетании с такими библиотеками, как pandas и scikit-learn, а также SQL для запросов к базам данных. R остается распространенным в академических кругах и в сфере биостатистики. Блокноты Jupyter являются стандартной средой для исследовательской работы, а облачные платформы хранилищ данных, такие как Snowflake, BigQuery или Databricks, теперь содержат данные, которые фактически запрашивает большинство специалистов по данным.
Почему «специалист по данным» был назван «самой сексуальной профессией 21 века»?
Томас Дэвенпорт и DJ Патил использовали эту фразу в качестве названия своей статьи в Harvard Business Review за октябрь 2012 года, утверждая, что редкое сочетание статистических навыков, способностей к кодированию и делового суждения, которое требовалось для этой должности, сделало ее одновременно редкой и очень востребованной. Эта фраза прижилась, помогая спровоцировать десятилетний корпоративный бум найма и десятки новых университетских программ.
Встроить этот рейтинг
Вставьте этот код в свой блог или на сайт — рейтинг всегда актуален.
