Специалист по данным · Находит закономерности и строит прогнозные модели на основе данных — должность 2008 года, основанная на трех столетиях подсчета, тестирования и визуализации доказательств.
Чем темнее клетка, тем выше балл по этому показателю.
МеньшеБольше
Последняя проверка Источники и титрыМедиа-кредитыМетодология
В отличие от имиджа «построения моделей искусственного интеллекта», большинство дней тратится на написание SQL-запросов и кода Python для извлечения и очистки данных, выполнение статистических тестов или обучающих моделей, а также перевод результатов в диаграмму или заметку, на основании которой может действовать нетехнический участник. Согласно опросам практиков, очистка и подготовка данных занимают примерно половину или более общего рабочего времени.
Нет. В отличие от медицины или права, здесь не существует лицензии или единой необходимой степени; степень бакалавра или магистра в области статистики, информатики, математики или соответствующей количественной области является наиболее распространенным путем, и сильное портфолио реальных проектов часто имеет большее значение для работодателей, чем точный диплом. Кандидаты наук чаще встречаются на должностях, связанных с тяжелыми исследованиями или прикладным машинным обучением.
Не совсем. Он в значительной степени опирается на статистику — экспериментальный план Фишера, исследовательский анализ Тьюки — но добавляет программирование, разработку баз данных и машинное обучение, которые редко преподают на кафедрах классической статистики. Уильям С. Кливленд предложил этот термин в 2001 году специально для описания этой расширенной, сложной для вычислений версии области, построенной на статистике, а не заменяющей ее.
Суть рутинной работы уже очевидна: инструменты AutoML могут соответствовать и настраивать стандартные модели, а помощники ИИ могут писать SQL-запросы, первые черновики исследовательских диаграмм и шаблонный конвейерный код быстрее, чем человек. Что не было автоматизировано, так это постановка правильного вопроса, оценка того, является ли шаблон значимым или ложным, и принятие на себя ответственности за решение, основанное на результате.
Это сильно варьируется в зависимости от страны и стажа. По оценкам Бюро статистики труда США, средняя годовая заработная плата специалистов по данным в 2023 году составит примерно 108 000 долларов США, в то время как младшие аналитики часто начинают с уровня около 70 000–95 000 долларов США, а старшие или главные специалисты по данным в крупных технологических компаниях могут зарабатывать 200 000–400 000 долларов США и более в виде совокупного вознаграждения собственным капиталом.
Аналитик данных обычно отвечает на определенные бизнес-вопросы, используя существующие данные и информационные панели; специалист по обработке данных строит новые статистические модели и проводит прогнозный анализ, часто на основе более запутанных данных; инженер по машинному обучению извлекает модель из блокнота и заставляет ее надежно работать в масштабе производства. Границы постоянно размываются, и многие люди в течение карьеры перемещаются между всеми тремя.
Популярная культура в основном обходила стороной статистики и обращалась к более драматичным фигурам квантов или алгоритмов — публичный имидж специалиста по обработке данных в большей степени обязан бейсбольным аналитикам Moneyball и количественным прогнозам кризиса из The Big Short, чем кому-либо, кто делает то, что на самом деле делает работающий специалист по данным изо дня в день.
Внутри этой области культура основана на конкурентных публичных тестах, невозмутимых статистических шутках и формате документа — карточке модели — который превращает «честность в отношении ограничений вашей модели» в рутинную профессиональную привычку, а не второстепенную мысль.
How much status the profession carried in each era, on a 0–100 scale.
Ранняя статистическая работа выполнялась в основном клерками, реформаторами-любителями и аутсайдерами-самоучками, такими как Найтингейл; полезный и иногда влиятельный, но редко престижный сам по себе.
Пирсон, Фишер и Госсет превратили статистику в академическую дисциплину с собственными журналами и университетскими кафедрами, завоевав уважение ученых, оставаясь при этом почти невидимыми для широкой публики.
По мере распространения мэйнфреймов сотрудники «обработки данных» и статистики рассматривались в основном как важная, но непривлекательная корпоративная поддержка, редко присутствующая в процессе принятия решений руководителями.
Академическое предложение Кливленда в 2001 году не привлекло особого внимания общественности, но премия Netflix в 2006–2009 годах за рекомендательный алгоритм в размере миллиона долларов и создание в 2008 году термина «специалист по данным» в LinkedIn и Facebook начали вскружить головы в технологической индустрии.
Статья Harvard Business Review в октябре 2012 года назвала «самую сексуальную работу» спровоцировавшей бум найма и престижа; к 2020-м годам эта должность разделилась на более специализированные роли и потеряла часть своего особого блеска, хотя оплата и спрос остаются высокими.
В драматургии показано, как Билли Бин из «Окленд Атлетикс» и аналитик Пол ДеПодеста использовали статистический анализ, опираясь на саберметрику Билла Джеймса, чтобы создать конкурентоспособный состав при одном из самых маленьких бюджетов в бейсболе.
Это следует из нескольких аналитиков, которые достаточно внимательно изучили данные ипотечного рынка, чтобы предсказать финансовый кризис 2008 года раньше, чем кто-либо еще поверил этим цифрам.
Математик помогает своему брату, агенту ФБР, раскрывать преступления, используя статистический анализ и распознавание образов, знакомя основную американскую телеаудиторию с прикладной математикой как с следственной работой.
В этом британском сериале-антологии неоднократно представлены профилирование данных и прогнозная оценка, доведенные до тревожных крайностей, особенно в эпизоде 2016 года «Пикирование», формирующем общественное беспокойство по поводу алгоритмического ранжирования людей.
Рассказывает реальную историю Кэтрин Джонсон, Дороти Вон и Мэри Джексон, чернокожих женщин-математиков, чьи ручные расчеты в НАСА легли в основу орбитальных миссий Меркурия в 1962 году до того, как эту работу взяли на себя электронные компьютеры.
Следует за открытием исследователя Массачусетского технологического института Джой Буоламвини о том, что системы распознавания лиц гораздо чаще ошибочно идентифицируют темнокожие лица, превращая технические выводы о предвзятости данных в более широкую общественную оценку алгоритмической справедливости.
Публичные соревнования по машинному обучению, проводимые на Kaggle и запущенные в 2010 году, оценивают участников в видимой таблице лидеров на протяжении всего конкурса, а затем раскрывают окончательные результаты по скрытому набору тестов, когда он закрывается — момент, который конкуренты называют «встряской», поскольку переоснащение общедоступной таблицы лидеров может за одну ночь потерять команду на десятки мест.
Следуя практике, предложенной в статье Маргарет Митчелл и ее коллег из Google в 2018 году, команды все чаще документируют предполагаемое использование модели, данные обучения и известные ограничения в короткой «карточке модели» перед ее отправкой, что рассматривается как профессиональная обязанность, а не как дополнительная опция.
Представление исследовательских результатов путем прокрутки ячеек и диаграмм блокнота Jupyter в реальном времени, а не полированной колоды слайдов, остается стандартным способом, которым специалист по обработке данных делится ранними результатами с коллегами по команде и заинтересованными сторонами.
Ничто из этого не решает старейшее противоречие в этой области: является ли «наука о данных» действительно новой дисциплиной или старой статистической и вычислительной работой, носящей более востребованное на рынке название. Сами практикующие спорят об этом, часто внутри одной команды.
Что осталось неизменным со времен таблиц смертности Граунта 1662 года, так это основной ход: превратить кучу записей в утверждение, на основании которого кто-то может действовать, и быть честным в отношении того, какая часть этого утверждения действительно подтверждается данными.
Хранитель книг: наследник ремесла, настолько древнего, что оно изобрело само письмо, и теперь ведет переговоры с программным обеспечением, созданным для его автоматизации.
AI-resistant 35 🗺️Решает, что компания должна построить дальше и почему, превращая потребности клиентов, бизнес-цели и технические ограничения в один общий план, которым никто больше не владеет.
AI-resistant 50 💻Пишет, тестирует и поддерживает код, который управляет современной жизнью, и является одной из первых профессий, наблюдающих, как ИИ автоматизирует свою повседневную работу.
AI-resistant 35 📣Профессионал, который создает спрос — от расписных стен Помпеи и рекламной записки P&G 1931 года до аукционных лент цифровой эпохи.
AI-resistant 38 📦Создает системы, которые обучают, развертывают, контролируют и управляют моделями машинного обучения в производстве.
AI-resistant 54 🔎Изучает, как люди используют продукты, превращая наблюдаемое поведение, потребности и разочарования в доказательства, которые команды могут использовать.
AI-resistant 69Выводит и проверяет математические законы, управляющие материей, энергией, пространством и временем, от одинокой классной доски до статьи о коллайдере частиц, написанной 3000 авторами.
AI-resistant 65 🧬Ученый, который изучает саму жизнь, от того, что Линней давал имена видам вручную, до редактирования геномов с помощью CRISPR, до сих пор проверяет каждую идею на живом организме.
AI-resistant 64 🧪Ученый, который сам создаёт и измеряет материю — от вавилонских духов Таппути до сегодняшних роботизированных лабораторий, и всё же тот, кто решает, что означает спектр.
AI-resistant 70 🔭Ученый, который измеряет Вселенную, от вавилонских глиняных табличек до космических телескопов, все еще решает, какое мерцание данных является открытием.
AI-resistant 70 🧮От вавилонских писцов до медалистов Филдса и доказательства с помощью искусственного интеллекта: профессия, которая превращает сложные вопросы в постоянную уверенность, по одной теореме за раз.
AI-resistant 70 🧿Создает, измеряет и контролирует устройства, использующие квантовые состояния для вычислений, зондирования, связи и исследования материалов.
AI-resistant 78 🧫Использует данные клинических исследований, исследований и системы здравоохранения для получения надежных данных для более безопасного ухода, исследований и операционных решений.
AI-resistant 68