Специалист по данным · Находит закономерности и строит прогнозные модели на основе данных — должность 2008 года, основанная на трех столетиях подсчета, тестирования и визуализации доказательств.
Чем темнее клетка, тем выше балл по этому показателю.
МеньшеБольше
Последняя проверка Источники и титрыМедиа-кредитыМетодология
В отличие от имиджа «построения моделей искусственного интеллекта», большинство дней тратится на написание SQL-запросов и кода Python для извлечения и очистки данных, выполнение статистических тестов или обучающих моделей, а также перевод результатов в диаграмму или заметку, на основании которой может действовать нетехнический участник. Согласно опросам практиков, очистка и подготовка данных занимают примерно половину или более общего рабочего времени.
Нет. В отличие от медицины или права, здесь не существует лицензии или единой необходимой степени; степень бакалавра или магистра в области статистики, информатики, математики или соответствующей количественной области является наиболее распространенным путем, и сильное портфолио реальных проектов часто имеет большее значение для работодателей, чем точный диплом. Кандидаты наук чаще встречаются на должностях, связанных с тяжелыми исследованиями или прикладным машинным обучением.
Не совсем. Он в значительной степени опирается на статистику — экспериментальный план Фишера, исследовательский анализ Тьюки — но добавляет программирование, разработку баз данных и машинное обучение, которые редко преподают на кафедрах классической статистики. Уильям С. Кливленд предложил этот термин в 2001 году специально для описания этой расширенной, сложной для вычислений версии области, построенной на статистике, а не заменяющей ее.
Суть рутинной работы уже очевидна: инструменты AutoML могут соответствовать и настраивать стандартные модели, а помощники ИИ могут писать SQL-запросы, первые черновики исследовательских диаграмм и шаблонный конвейерный код быстрее, чем человек. Что не было автоматизировано, так это постановка правильного вопроса, оценка того, является ли шаблон значимым или ложным, и принятие на себя ответственности за решение, основанное на результате.
Это сильно варьируется в зависимости от страны и стажа. По оценкам Бюро статистики труда США, средняя годовая заработная плата специалистов по данным в 2023 году составит примерно 108 000 долларов США, в то время как младшие аналитики часто начинают с уровня около 70 000–95 000 долларов США, а старшие или главные специалисты по данным в крупных технологических компаниях могут зарабатывать 200 000–400 000 долларов США и более в виде совокупного вознаграждения собственным капиталом.
Аналитик данных обычно отвечает на определенные бизнес-вопросы, используя существующие данные и информационные панели; специалист по обработке данных строит новые статистические модели и проводит прогнозный анализ, часто на основе более запутанных данных; инженер по машинному обучению извлекает модель из блокнота и заставляет ее надежно работать в масштабе производства. Границы постоянно размываются, и многие люди в течение карьеры перемещаются между всеми тремя.
Наука о данных находится в необычном месте в истории искусственного интеллекта: многие инструменты, меняющие профессию — автоматизированное машинное обучение, перевод с естественного языка в SQL, диаграммы с помощью ИИ — сами по себе в значительной степени были созданы учеными, занимающимися данными, и исследователями машинного обучения, которые теперь нацелены на часть их собственной повседневной работы.
Это воздействие является реальным и неравномерным. Рутинное, четко определенное завершение работы — получение данных, запуск стандартной модели, создание первого проекта диаграммы — уже выполняется сравнительно быстро для инструментов ИИ. Цель, которая выживет, заключается не столько в написании кода, сколько в решении того, какой вопрос стоит задать и можно ли доверять ответу.
Значительная часть рутинной работы по обработке данных — SQL-запросы, исследовательские диаграммы, подгонка стандартной модели с помощью AutoML, написание шаблонного конвейерного кода — сегодня уже автоматизируется или поддерживается искусственным интеллектом, и эта доля быстро растет. Что сопротивляется автоматизации, так это формулирование неоднозначной бизнес-проблемы как проверяемого вопроса, позволяющее оценить, является ли результат реальным или статистическим артефактом, и нести ответственность, когда реальное решение модели оказывается неверным.
Scored from the tasks, not the job title. Lower is safer.
Jobs AI cannot take →Чтобы превратить расплывчатую деловую или научную проблему в конкретный, поддающийся проверке вопрос, требуется организационный и предметный контекст, к которому автоматический инструмент не имеет доступа сам по себе.
Отличить настоящий эффект от шума, артефакта утечки данных или удачного разделения теста поезда — это именно то скептическое суждение, которое автоматизированные конвейеры хуже всего применяют к своим собственным выводам.
Кто-то должен ответить за модель, которая отказывает в кредите, помечает пациента или занижает цену на продукт — ответственность, которая не может быть передана инструменту, выдавшему цифры.
Получение противоречивого или нежелательного результата, на котором действительно будут приняты меры, зависит от доверия, достоверности и переговоров с людьми, а не только от правильного анализа.
Выбор правильного естественного эксперимента, контрольной группы или стратегии причинно-следственной связи для нового вопроса ближе к творческому суждению, чем к сопоставлению с образцом прошлого анализа.
Инструменты преобразования естественного языка в SQL теперь обрабатывают большую часть простых запросов на получение данных, которые когда-то требовали прямого участия специалиста по данным.
Автоматизированные инструменты исследовательского анализа могут создавать графики распределения, сводные корреляции и базовые диаграммы на основе необработанного набора данных за считанные секунды.
Платформы AutoML могут выбирать, обучать и настраивать традиционные модели, такие как повышение градиента или логистическая регрессия, практически без присмотра, для четко определенных и четко обозначенных проблем.
Связать воедино стандартный сценарий преобразования данных или загрузки теперь зачастую быстрее сгенерировать с помощью помощника по кодированию и просмотреть его, чем писать с нуля.
Растущая доля работы заключается в определении того, что должен делать автоматизированный конвейер, и проверке его результатов, вместо того, чтобы писать каждый запрос и модель вручную.
Аналитическая инженерия, машинное обучение и продуктовая аналитика все чаще становятся отдельными должностями, каждая из которых включает в себя часть того, чем десятилетие назад должен был заниматься один «специалист по данным».
Поскольку поиск закономерностей в существующих данных становится легче автоматизировать, более сложные навыки разработки заслуживающего доверия эксперимента или причинно-следственного анализа становятся все более ценными, а не менее.
Инструменты No-code и AutoML позволяют неспециалистам проводить собственный базовый анализ, подталкивая специалистов по обработке данных к более сложным и неоднозначным проблемам, с которыми эти инструменты не могут справиться.
Создает и обслуживает конвейеры преобразования данных — часто с использованием таких инструментов, как dbt — которые питают информационные панели и модели, находясь между разработкой данных и анализом.
Берет модель из исследовательского блокнота и обеспечивает ее надежную, контролируемую и масштабируемую работу в производственной системе.
Владеет дорожной картой для функции, основанной на данных или искусственном интеллекте, преобразуя бизнес-цели в то, что на самом деле должна построить команда данных.
Аудит моделей и лежащих в их основе данных на предмет предвзятости, справедливости и соответствия нормативным требованиям, прежде чем они будут допущены к отправке.
Tri obratimye linzy: usilit, zamenit srez ili otkryt nishu. Uchebnye metki, ne prognoz.
Rol sokhranyaetsya; AI uskorayet chernoviki ili issledovanie; suzhdenie ostaetsya chelovecheskim.
Uzkiy paket zadach mozhet szhatsya snachala, poka smezhnoye masterstvo rastet.
Mogut poyavitsya nadzor i integratsiya, gde vyvod AI dolzhen byt dostovernym.
Спрос на людей, которые могут превратить данные в надежные решения, скорее всего, останется высоким в течение следующего десятилетия, но версия работы начального уровня уже меняется: будет существовать меньше должностей, которые будут заниматься исключительно написанием рутинных запросов и первых набросков диаграмм вручную.
Самое явное долгосрочное преимущество имеют ученые, работающие с данными, которые могут сформулировать действительно полезный вопрос, определить, когда результат, полученный ИИ, является скрыто неправильным, и взять на себя ответственность за рекомендации перед скептически настроенными заинтересованными сторонами — то же самое суждение, которое требовалось в этой области со времен испытаний урожая Фишера, теперь применяется к рабочему процессу, который все чаще составляет свой собственный первый проход.
Хранитель книг: наследник ремесла, настолько древнего, что оно изобрело само письмо, и теперь ведет переговоры с программным обеспечением, созданным для его автоматизации.
AI-resistant 35 🗺️Решает, что компания должна построить дальше и почему, превращая потребности клиентов, бизнес-цели и технические ограничения в один общий план, которым никто больше не владеет.
AI-resistant 50 💻Пишет, тестирует и поддерживает код, который управляет современной жизнью, и является одной из первых профессий, наблюдающих, как ИИ автоматизирует свою повседневную работу.
AI-resistant 35 📣Профессионал, который создает спрос — от расписных стен Помпеи и рекламной записки P&G 1931 года до аукционных лент цифровой эпохи.
AI-resistant 38 📦Создает системы, которые обучают, развертывают, контролируют и управляют моделями машинного обучения в производстве.
AI-resistant 54 🔎Изучает, как люди используют продукты, превращая наблюдаемое поведение, потребности и разочарования в доказательства, которые команды могут использовать.
AI-resistant 69Выводит и проверяет математические законы, управляющие материей, энергией, пространством и временем, от одинокой классной доски до статьи о коллайдере частиц, написанной 3000 авторами.
AI-resistant 65 🧬Ученый, который изучает саму жизнь, от того, что Линней давал имена видам вручную, до редактирования геномов с помощью CRISPR, до сих пор проверяет каждую идею на живом организме.
AI-resistant 64 🧪Ученый, который сам создаёт и измеряет материю — от вавилонских духов Таппути до сегодняшних роботизированных лабораторий, и всё же тот, кто решает, что означает спектр.
AI-resistant 70 🔭Ученый, который измеряет Вселенную, от вавилонских глиняных табличек до космических телескопов, все еще решает, какое мерцание данных является открытием.
AI-resistant 70 🧮От вавилонских писцов до медалистов Филдса и доказательства с помощью искусственного интеллекта: профессия, которая превращает сложные вопросы в постоянную уверенность, по одной теореме за раз.
AI-resistant 70 🧿Создает, измеряет и контролирует устройства, использующие квантовые состояния для вычислений, зондирования, связи и исследования материалов.
AI-resistant 78 🧫Использует данные клинических исследований, исследований и системы здравоохранения для получения надежных данных для более безопасного ухода, исследований и операционных решений.
AI-resistant 68