Специалист по данным · Находит закономерности и строит прогнозные модели на основе данных — должность 2008 года, основанная на трех столетиях подсчета, тестирования и визуализации доказательств.
Популярный образ специалиста по данным, создающего умные прогностические модели, реален, но неполен. Опросы практиков и свидетельства из первых рук постоянно описывают работу, в которой поиск, очистка и преобразование беспорядочных данных отнимает больше часов, чем этап моделирования, который представляет себе большинство людей.
Мастерство, передаваемое внутри поля, заключается не столько в запоминании конкретного алгоритма, сколько в дисциплинированном скептицизме: просмотр данных, прежде чем доверять какой-либо модели, проверка того, сохраняется ли закономерность внутри подгрупп, и понимание того, когда честный ответ на вопрос заинтересованной стороны заключается в том, что данные не могут ее поддержать.
Проверка гипотез, регрессия и понимание того, что на самом деле утверждает значение p или доверительный интервал — основа выводов, на которой строится все остальное в работе.
Написание кода, достаточно свободного, чтобы извлекать, очищать и преобразовывать данные в большом масштабе, а не просто создавать прототип анализа в блокноте, который больше никогда не придется запускать.
Превращение беспорядочных, противоречивых, реальных данных — отсутствующих значений, повторяющихся записей, несовпадающих форматов — во что-то, что действительно можно использовать в модели или диаграмме.
Выбор, обучение и проверка модели, соответствующей задаче, а также знание того, когда простая регрессия превосходит сложную нейронную сеть.
Перевод статистических результатов в диаграмму, памятку или рекомендацию, по которой может действовать нетехнический руководитель, не упрощая и не скрывая реальную неопределенность.
Понимание того, что на самом деле означает метрика в конкретной сфере бизнеса или научной области, чтобы анализ дал ответ на вопрос, который на самом деле был задан.
Обзор ночных запусков конвейера и информационных панелей с ключевыми метриками, а также краткая синхронизация с командой приоритетов на день.
Написание SQL-запросов к хранилищу данных, объединение и изменение таблиц, а также обработка отсутствующих или противоречивых значений — обычно это самый большой блок рабочего дня.
Настоящий перерыв, а зачастую и неформальная обстановка, в которой межкомандные проблемы поднимаются еще до того, как они дойдут до запланированной встречи.
Создание или уточнение статистической модели, проведение теста значимости эксперимента или исследование причин изменения показателя.
Представление результатов команде по продукту или бизнесу, рассмотрение результатов A/B-тестирования или защита допущений анализа, подвергающихся сомнению.
Личное время, за исключением запуска продукта или ежеквартального бизнес-обзора, когда вечера могут поглощать запросы на анализ, поступающие в последнюю минуту.
Craft knowledge practitioners actually pass on — not motivation.
Постройте необработанные распределения, диаграммы рассеяния и простые сводки, прежде чем что-либо подгонять — привычка, которая выявляет неверные данные, ошибки единиц и выбросы, которые в противном случае модель могла бы спокойно поглотить и скрыть.
Совокупная тенденция может полностью развернуться, как только данные будут разделены по соответствующей категории — закономерность, известная как парадокс Симпсона, названный в честь статьи 1951 года статистика Эдварда Х. Симпсона.
Многократная проверка производительности по одним и тем же сохраненным данным, а затем корректировка модели незаметно переливают информацию из этих данных в модель — прикосновение к ним только один раз — это то, что сохраняет конечный результат честным.
В реальных проектах 80 % данных всегда приходится на подготовку, а 20 % — на моделирование, чем наоборот. Планирование графика на основе противоположного предположения — распространенная причина, по которой проекты задерживаются.
Базовый уровень — иногда просто правило или линейная модель — поясняет, насколько на самом деле добавляется более сложная модель, и часто он достаточно хорош, чтобы поставляться отдельно.
Неожиданная корреляция чаще является артефактом скрытой третьей переменной, чем настоящим открытием — активно ищите, что еще могло бы ее объяснить, прежде чем представить результат.
Доминирующий язык для манипулирования данными и классического машинного обучения, с pandas для табличных данных и scikit-learn для стандартных алгоритмов моделирования.
Язык запросов для извлечения данных из реляционных и облачных хранилищ данных — Snowflake, BigQuery, Redshift — где фактически хранятся данные большинства компаний.
Стандартная интерактивная среда для исследовательского анализа, позволяющая специалисту по данным запускать код, просматривать диаграммы и делать заметки в одном документе.
Инструменты информационной панели бизнес-аналитики, используемые для превращения законченного анализа в нечто, что нетехническая заинтересованная сторона может исследовать и отслеживать без написания кода.
Контроль версий кода и, во все большей степени, моделей, а также облачная инфраструктура, которая хранит данные и выполняет учебные задания в масштабах, с которыми не может справиться ноутбук.
Проведение множества статистических сравнений и отчетность только о том, которое пересекает порог значимости, приводит к ложным открытиям, которые не будут повторяться — хорошо задокументированный режим отказа, известный как p-хакинг.
Случайное включение функции, которая кодирует прогнозируемый результат, приводит к нереально сильным офлайн-результатам, которые разрушаются, когда модель работает на действительно невидимых производственных данных.
Тщательно настроенная модель машинного обучения, решающая проблему, на которую с таким же успехом мог бы ответить простой SQL-запрос или формула электронной таблицы, тратит усилия и может упустить реальный бизнес-вопрос.
Хранитель книг: наследник ремесла, настолько древнего, что оно изобрело само письмо, и теперь ведет переговоры с программным обеспечением, созданным для его автоматизации.
AI-resistant 35 🗺️Решает, что компания должна построить дальше и почему, превращая потребности клиентов, бизнес-цели и технические ограничения в один общий план, которым никто больше не владеет.
AI-resistant 50 💻Пишет, тестирует и поддерживает код, который управляет современной жизнью, и является одной из первых профессий, наблюдающих, как ИИ автоматизирует свою повседневную работу.
AI-resistant 35 📣Профессионал, который создает спрос — от расписных стен Помпеи и рекламной записки P&G 1931 года до аукционных лент цифровой эпохи.
AI-resistant 38 📦Создает системы, которые обучают, развертывают, контролируют и управляют моделями машинного обучения в производстве.
AI-resistant 54 🔎Изучает, как люди используют продукты, превращая наблюдаемое поведение, потребности и разочарования в доказательства, которые команды могут использовать.
AI-resistant 69Выводит и проверяет математические законы, управляющие материей, энергией, пространством и временем, от одинокой классной доски до статьи о коллайдере частиц, написанной 3000 авторами.
AI-resistant 65 🧬Ученый, который изучает саму жизнь, от того, что Линней давал имена видам вручную, до редактирования геномов с помощью CRISPR, до сих пор проверяет каждую идею на живом организме.
AI-resistant 64 🧪Ученый, который сам создаёт и измеряет материю — от вавилонских духов Таппути до сегодняшних роботизированных лабораторий, и всё же тот, кто решает, что означает спектр.
AI-resistant 70 🔭Ученый, который измеряет Вселенную, от вавилонских глиняных табличек до космических телескопов, все еще решает, какое мерцание данных является открытием.
AI-resistant 70 🧮От вавилонских писцов до медалистов Филдса и доказательства с помощью искусственного интеллекта: профессия, которая превращает сложные вопросы в постоянную уверенность, по одной теореме за раз.
AI-resistant 70 🧿Создает, измеряет и контролирует устройства, использующие квантовые состояния для вычислений, зондирования, связи и исследования материалов.
AI-resistant 78 🧫Использует данные клинических исследований, исследований и системы здравоохранения для получения надежных данных для более безопасного ухода, исследований и операционных решений.
AI-resistant 68