Специалист по данным · Находит закономерности и строит прогнозные модели на основе данных — должность 2008 года, основанная на трех столетиях подсчета, тестирования и визуализации доказательств.
Чем темнее клетка, тем выше балл по этому показателю.
МеньшеБольше
Последняя проверка Источники и титрыМедиа-кредитыМетодология
В отличие от имиджа «построения моделей искусственного интеллекта», большинство дней тратится на написание SQL-запросов и кода Python для извлечения и очистки данных, выполнение статистических тестов или обучающих моделей, а также перевод результатов в диаграмму или заметку, на основании которой может действовать нетехнический участник. Согласно опросам практиков, очистка и подготовка данных занимают примерно половину или более общего рабочего времени.
Нет. В отличие от медицины или права, здесь не существует лицензии или единой необходимой степени; степень бакалавра или магистра в области статистики, информатики, математики или соответствующей количественной области является наиболее распространенным путем, и сильное портфолио реальных проектов часто имеет большее значение для работодателей, чем точный диплом. Кандидаты наук чаще встречаются на должностях, связанных с тяжелыми исследованиями или прикладным машинным обучением.
Не совсем. Он в значительной степени опирается на статистику — экспериментальный план Фишера, исследовательский анализ Тьюки — но добавляет программирование, разработку баз данных и машинное обучение, которые редко преподают на кафедрах классической статистики. Уильям С. Кливленд предложил этот термин в 2001 году специально для описания этой расширенной, сложной для вычислений версии области, построенной на статистике, а не заменяющей ее.
Суть рутинной работы уже очевидна: инструменты AutoML могут соответствовать и настраивать стандартные модели, а помощники ИИ могут писать SQL-запросы, первые черновики исследовательских диаграмм и шаблонный конвейерный код быстрее, чем человек. Что не было автоматизировано, так это постановка правильного вопроса, оценка того, является ли шаблон значимым или ложным, и принятие на себя ответственности за решение, основанное на результате.
Это сильно варьируется в зависимости от страны и стажа. По оценкам Бюро статистики труда США, средняя годовая заработная плата специалистов по данным в 2023 году составит примерно 108 000 долларов США, в то время как младшие аналитики часто начинают с уровня около 70 000–95 000 долларов США, а старшие или главные специалисты по данным в крупных технологических компаниях могут зарабатывать 200 000–400 000 долларов США и более в виде совокупного вознаграждения собственным капиталом.
Аналитик данных обычно отвечает на определенные бизнес-вопросы, используя существующие данные и информационные панели; специалист по обработке данных строит новые статистические модели и проводит прогнозный анализ, часто на основе более запутанных данных; инженер по машинному обучению извлекает модель из блокнота и заставляет ее надежно работать в масштабе производства. Границы постоянно размываются, и многие люди в течение карьеры перемещаются между всеми тремя.
Популярный образ специалиста по данным, создающего умные прогностические модели, реален, но неполен. Опросы практиков и свидетельства из первых рук постоянно описывают работу, в которой поиск, очистка и преобразование беспорядочных данных отнимает больше часов, чем этап моделирования, который представляет себе большинство людей.
Мастерство, передаваемое внутри поля, заключается не столько в запоминании конкретного алгоритма, сколько в дисциплинированном скептицизме: просмотр данных, прежде чем доверять какой-либо модели, проверка того, сохраняется ли закономерность внутри подгрупп, и понимание того, когда честный ответ на вопрос заинтересованной стороны заключается в том, что данные не могут ее поддержать.
Проверка гипотез, регрессия и понимание того, что на самом деле утверждает значение p или доверительный интервал — основа выводов, на которой строится все остальное в работе.
Написание кода, достаточно свободного, чтобы извлекать, очищать и преобразовывать данные в большом масштабе, а не просто создавать прототип анализа в блокноте, который больше никогда не придется запускать.
Превращение беспорядочных, противоречивых, реальных данных — отсутствующих значений, повторяющихся записей, несовпадающих форматов — во что-то, что действительно можно использовать в модели или диаграмме.
Выбор, обучение и проверка модели, соответствующей задаче, а также знание того, когда простая регрессия превосходит сложную нейронную сеть.
Перевод статистических результатов в диаграмму, памятку или рекомендацию, по которой может действовать нетехнический руководитель, не упрощая и не скрывая реальную неопределенность.
Понимание того, что на самом деле означает метрика в конкретной сфере бизнеса или научной области, чтобы анализ дал ответ на вопрос, который на самом деле был задан.
Обзор ночных запусков конвейера и информационных панелей с ключевыми метриками, а также краткая синхронизация с командой приоритетов на день.
Написание SQL-запросов к хранилищу данных, объединение и изменение таблиц, а также обработка отсутствующих или противоречивых значений — обычно это самый большой блок рабочего дня.
Настоящий перерыв, а зачастую и неформальная обстановка, в которой межкомандные проблемы поднимаются еще до того, как они дойдут до запланированной встречи.
Создание или уточнение статистической модели, проведение теста значимости эксперимента или исследование причин изменения показателя.
Представление результатов команде по продукту или бизнесу, рассмотрение результатов A/B-тестирования или защита допущений анализа, подвергающихся сомнению.
Личное время, за исключением запуска продукта или ежеквартального бизнес-обзора, когда вечера могут поглощать запросы на анализ, поступающие в последнюю минуту.
Craft knowledge practitioners actually pass on — not motivation.
Постройте необработанные распределения, диаграммы рассеяния и простые сводки, прежде чем что-либо подгонять — привычка, которая выявляет неверные данные, ошибки единиц и выбросы, которые в противном случае модель могла бы спокойно поглотить и скрыть.
Совокупная тенденция может полностью развернуться, как только данные будут разделены по соответствующей категории — закономерность, известная как парадокс Симпсона, названный в честь статьи 1951 года статистика Эдварда Х. Симпсона.
Многократная проверка производительности по одним и тем же сохраненным данным, а затем корректировка модели незаметно переливают информацию из этих данных в модель — прикосновение к ним только один раз — это то, что сохраняет конечный результат честным.
В реальных проектах 80 % данных всегда приходится на подготовку, а 20 % — на моделирование, чем наоборот. Планирование графика на основе противоположного предположения — распространенная причина, по которой проекты задерживаются.
Базовый уровень — иногда просто правило или линейная модель — поясняет, насколько на самом деле добавляется более сложная модель, и часто он достаточно хорош, чтобы поставляться отдельно.
Неожиданная корреляция чаще является артефактом скрытой третьей переменной, чем настоящим открытием — активно ищите, что еще могло бы ее объяснить, прежде чем представить результат.
Доминирующий язык для манипулирования данными и классического машинного обучения, с pandas для табличных данных и scikit-learn для стандартных алгоритмов моделирования.
Язык запросов для извлечения данных из реляционных и облачных хранилищ данных — Snowflake, BigQuery, Redshift — где фактически хранятся данные большинства компаний.
Стандартная интерактивная среда для исследовательского анализа, позволяющая специалисту по данным запускать код, просматривать диаграммы и делать заметки в одном документе.
Инструменты информационной панели бизнес-аналитики, используемые для превращения законченного анализа в нечто, что нетехническая заинтересованная сторона может исследовать и отслеживать без написания кода.
Контроль версий кода и, во все большей степени, моделей, а также облачная инфраструктура, которая хранит данные и выполняет учебные задания в масштабах, с которыми не может справиться ноутбук.
Проведение множества статистических сравнений и отчетность только о том, которое пересекает порог значимости, приводит к ложным открытиям, которые не будут повторяться — хорошо задокументированный режим отказа, известный как p-хакинг.
Случайное включение функции, которая кодирует прогнозируемый результат, приводит к нереально сильным офлайн-результатам, которые разрушаются, когда модель работает на действительно невидимых производственных данных.
Тщательно настроенная модель машинного обучения, решающая проблему, на которую с таким же успехом мог бы ответить простой SQL-запрос или формула электронной таблицы, тратит усилия и может упустить реальный бизнес-вопрос.
Хранитель книг: наследник ремесла, настолько древнего, что оно изобрело само письмо, и теперь ведет переговоры с программным обеспечением, созданным для его автоматизации.
AI-resistant 35 🗺️Решает, что компания должна построить дальше и почему, превращая потребности клиентов, бизнес-цели и технические ограничения в один общий план, которым никто больше не владеет.
AI-resistant 50 💻Пишет, тестирует и поддерживает код, который управляет современной жизнью, и является одной из первых профессий, наблюдающих, как ИИ автоматизирует свою повседневную работу.
AI-resistant 35 📣Профессионал, который создает спрос — от расписных стен Помпеи и рекламной записки P&G 1931 года до аукционных лент цифровой эпохи.
AI-resistant 38 📦Создает системы, которые обучают, развертывают, контролируют и управляют моделями машинного обучения в производстве.
AI-resistant 54 🔎Изучает, как люди используют продукты, превращая наблюдаемое поведение, потребности и разочарования в доказательства, которые команды могут использовать.
AI-resistant 69Выводит и проверяет математические законы, управляющие материей, энергией, пространством и временем, от одинокой классной доски до статьи о коллайдере частиц, написанной 3000 авторами.
AI-resistant 65 🧬Ученый, который изучает саму жизнь, от того, что Линней давал имена видам вручную, до редактирования геномов с помощью CRISPR, до сих пор проверяет каждую идею на живом организме.
AI-resistant 64 🧪Ученый, который сам создаёт и измеряет материю — от вавилонских духов Таппути до сегодняшних роботизированных лабораторий, и всё же тот, кто решает, что означает спектр.
AI-resistant 70 🔭Ученый, который измеряет Вселенную, от вавилонских глиняных табличек до космических телескопов, все еще решает, какое мерцание данных является открытием.
AI-resistant 70 🧮От вавилонских писцов до медалистов Филдса и доказательства с помощью искусственного интеллекта: профессия, которая превращает сложные вопросы в постоянную уверенность, по одной теореме за раз.
AI-resistant 70 🧿Создает, измеряет и контролирует устройства, использующие квантовые состояния для вычислений, зондирования, связи и исследования материалов.
AI-resistant 78 🧫Использует данные клинических исследований, исследований и системы здравоохранения для получения надежных данных для более безопасного ухода, исследований и операционных решений.
AI-resistant 68