Skip to content

📊Culture & Status

Специалист по данным · Находит закономерности и строит прогнозные модели на основе данных — должность 2008 года, основанная на трех столетиях подсчета, тестирования и визуализации доказательств.

Share

Популярная культура в основном обходила стороной статистики и обращалась к более драматичным фигурам квантов или алгоритмов — публичный имидж специалиста по обработке данных в большей степени обязан бейсбольным аналитикам Moneyball и количественным прогнозам кризиса из The Big Short, чем кому-либо, кто делает то, что на самом деле делает работающий специалист по данным изо дня в день.

Внутри этой области культура основана на конкурентных публичных тестах, невозмутимых статистических шутках и формате документа — карточке модели — который превращает «честность в отношении ограничений вашей модели» в рутинную профессиональную привычку, а не второстепенную мысль.

Social standing through history

How much status the profession carried in each era, on a 0–100 scale.

2235285578
1660–1899 гг.1900–1930-е годы1950–1980-е годы2001–20112012 – настоящее время
1660–1899 гг.

Ранняя статистическая работа выполнялась в основном клерками, реформаторами-любителями и аутсайдерами-самоучками, такими как Найтингейл; полезный и иногда влиятельный, но редко престижный сам по себе.

1900–1930-е годы

Пирсон, Фишер и Госсет превратили статистику в академическую дисциплину с собственными журналами и университетскими кафедрами, завоевав уважение ученых, оставаясь при этом почти невидимыми для широкой публики.

1950–1980-е годы

По мере распространения мэйнфреймов сотрудники «обработки данных» и статистики рассматривались в основном как важная, но непривлекательная корпоративная поддержка, редко присутствующая в процессе принятия решений руководителями.

2001–2011

Академическое предложение Кливленда в 2001 году не привлекло особого внимания общественности, но премия Netflix в 2006–2009 годах за рекомендательный алгоритм в размере миллиона долларов и создание в 2008 году термина «специалист по данным» в LinkedIn и Facebook начали вскружить головы в технологической индустрии.

2012 – настоящее время

Статья Harvard Business Review в октябре 2012 года назвала «самую сексуальную работу» спровоцировавшей бум найма и престижа; к 2020-м годам эта должность разделилась на более специализированные роли и потеряла часть своего особого блеска, хотя оплата и спрос остаются высокими.

In film, books and art

Фильм2011

Манибол

Беннетт Миллер (режиссер); по книге Майкла Льюиса 2003 года.

В драматургии показано, как Билли Бин из «Окленд Атлетикс» и аналитик Пол ДеПодеста использовали статистический анализ, опираясь на саберметрику Билла Джеймса, чтобы создать конкурентоспособный состав при одном из самых маленьких бюджетов в бейсболе.

Фильм2015

Большая короткая сделка

Адам Маккей (режиссер); по книге Майкла Льюиса

Это следует из нескольких аналитиков, которые достаточно внимательно изучили данные ипотечного рынка, чтобы предсказать финансовый кризис 2008 года раньше, чем кто-либо еще поверил этим цифрам.

Сериал2005–2010

Numb3rs

Николас Фалаччи и Шерил Хьютон (создатели)

Математик помогает своему брату, агенту ФБР, раскрывать преступления, используя статистический анализ и распознавание образов, знакомя основную американскую телеаудиторию с прикладной математикой как с следственной работой.

Сериал2011 – настоящее время

Черное зеркало

Чарли Брукер (создатель)

В этом британском сериале-антологии неоднократно представлены профилирование данных и прогнозная оценка, доведенные до тревожных крайностей, особенно в эпизоде ​​​​2016 года «Пикирование», формирующем общественное беспокойство по поводу алгоритмического ранжирования людей.

Фильм2016

Скрытые фигуры

Теодор Мелфи (режиссер); по книге Марго Ли Шеттерли

Рассказывает реальную историю Кэтрин Джонсон, Дороти Вон и Мэри Джексон, чернокожих женщин-математиков, чьи ручные расчеты в НАСА легли в основу орбитальных миссий Меркурия в 1962 году до того, как эту работу взяли на себя электронные компьютеры.

Документальный фильм2020

Кодированное смещение

Шалини Кантайя (режиссер)

Следует за открытием исследователя Массачусетского технологического института Джой Буоламвини о том, что системы распознавания лиц гораздо чаще ошибочно идентифицируют темнокожие лица, превращая технические выводы о предвзятости данных в более широкую общественную оценку алгоритмической справедливости.

Proverbs and idioms

Мусор на входе, мусор на выходе

Вычислительный афоризм, широко использовавшийся в 1950–60-х годах.Модель или анализ заслуживают доверия ровно настолько, насколько и данные, введенные в них, — никакие статистические сложности не спасут от плохих входных данных.

Все модели неверны, но некоторые полезны

Джордж Бокс, статистик, «Наука и статистика», журнал Американской статистической ассоциации, 1976 г.Каждая модель — это упрощение реальности; цель — модель, достаточно точная, чтобы быть полезной, а не идеальное описание мира.

Корреляция не подразумевает причинно-следственную связь

Классическая статистическая максима, формализованная с помощью статистики начала 20 века.Совместное движение двух переменных не доказывает, что одна является причиной другой — скрытый третий фактор может объяснить оба.

Это 80% очистка данных

Широко повторяемая отраслевая максима, отраженная в статье Стива Лора в New York Times в 2014 году о «работе уборщика» специалистов по данным.Большая часть времени реального проекта уходит на поиск, очистку и изменение данных, а не на построение самой модели.

Rites, symbols and dress

Встряска таблицы лидеров Kaggle

Публичные соревнования по машинному обучению, проводимые на Kaggle и запущенные в 2010 году, оценивают участников в видимой таблице лидеров на протяжении всего конкурса, а затем раскрывают окончательные результаты по скрытому набору тестов, когда он закрывается — момент, который конкуренты называют «встряской», поскольку переоснащение общедоступной таблицы лидеров может за одну ночь потерять команду на десятки мест.

Публикация карточки модели

Следуя практике, предложенной в статье Маргарет Митчелл и ее коллег из Google в 2018 году, команды все чаще документируют предполагаемое использование модели, данные обучения и известные ограничения в короткой «карточке модели» перед ее отправкой, что рассматривается как профессиональная обязанность, а не как дополнительная опция.

Прохождение блокнота

Представление исследовательских результатов путем прокрутки ячеек и диаграмм блокнота Jupyter в реальном времени, а не полированной колоды слайдов, остается стандартным способом, которым специалист по обработке данных делится ранними результатами с коллегами по команде и заинтересованными сторонами.

Ничто из этого не решает старейшее противоречие в этой области: является ли «наука о данных» действительно новой дисциплиной или старой статистической и вычислительной работой, носящей более востребованное на рынке название. Сами практикующие спорят об этом, часто внутри одной команды.

Что осталось неизменным со времен таблиц смертности Граунта 1662 года, так это основной ход: превратить кучу записей в утверждение, на основании которого кто-то может действовать, и быть честным в отношении того, какая часть этого утверждения действительно подтверждается данными.

Similar professions

🧾

Бухгалтер

Хранитель книг: наследник ремесла, настолько древнего, что оно изобрело само письмо, и теперь ведет переговоры с программным обеспечением, созданным для его автоматизации.

AI-resistant 35
🗺️

Менеджер по продукту

Решает, что компания должна построить дальше и почему, превращая потребности клиентов, бизнес-цели и технические ограничения в один общий план, которым никто больше не владеет.

AI-resistant 50
💻

Инженер-программист

Пишет, тестирует и поддерживает код, который управляет современной жизнью, и является одной из первых профессий, наблюдающих, как ИИ автоматизирует свою повседневную работу.

AI-resistant 35
📣

Маркетолог

Профессионал, который создает спрос — от расписных стен Помпеи и рекламной записки P&G 1931 года до аукционных лент цифровой эпохи.

AI-resistant 38
📦

Инженер МЛОпс

Создает системы, которые обучают, развертывают, контролируют и управляют моделями машинного обучения в производстве.

AI-resistant 54
🔎

UX-исследователь

Изучает, как люди используют продукты, превращая наблюдаемое поведение, потребности и разочарования в доказательства, которые команды могут использовать.

AI-resistant 69

Continue exploring

Keep exploring

More in Science & Research

⚛️

Физик

Выводит и проверяет математические законы, управляющие материей, энергией, пространством и временем, от одинокой классной доски до статьи о коллайдере частиц, написанной 3000 авторами.

AI-resistant 65
🧬

Биолог

Ученый, который изучает саму жизнь, от того, что Линней давал имена видам вручную, до редактирования геномов с помощью CRISPR, до сих пор проверяет каждую идею на живом организме.

AI-resistant 64
🧪

Химик

Ученый, который сам создаёт и измеряет материю — от вавилонских духов Таппути до сегодняшних роботизированных лабораторий, и всё же тот, кто решает, что означает спектр.

AI-resistant 70
🔭

Астроном

Ученый, который измеряет Вселенную, от вавилонских глиняных табличек до космических телескопов, все еще решает, какое мерцание данных является открытием.

AI-resistant 70
🧮

Математик

От вавилонских писцов до медалистов Филдса и доказательства с помощью искусственного интеллекта: профессия, которая превращает сложные вопросы в постоянную уверенность, по одной теореме за раз.

AI-resistant 70
🧿

Квантовый инженер

Создает, измеряет и контролирует устройства, использующие квантовые состояния для вычислений, зондирования, связи и исследования материалов.

AI-resistant 78
🧫

Специалист по клиническим данным

Использует данные клинических исследований, исследований и системы здравоохранения для получения надежных данных для более безопасного ухода, исследований и операционных решений.

AI-resistant 68