Исследователь искусственного интеллекта · Разрабатывает и тестирует алгоритмы, лежащие в основе машинного интеллекта, в области, которая сейчас стремится автоматизировать растущую долю собственного исследовательского процесса.
Представление об исследователе, изобретающем новый умный алгоритм в мгновение ока, по большей части ошибочно. Большую часть дней тратят на эксперименты, которые терпят неудачу по неинформативным причинам, читают то, что опубликовали в этом месяце сотни других лабораторий, и пытаются определить, реален ли многообещающий результат или это артефакт счастливого случайного семени.
Мастерство, передаваемое внутри области, заключается не столько в том, какую архитектуру следует запомнить, сколько в экспериментальной дисциплине: как изолировать то, что на самом деле вызвало улучшение, когда доверять эталону, а когда нет, и как не допустить того, чтобы отрицательный результат был тихо выброшен.
Линейная алгебра, вероятность, исчисление и оптимизация — это язык, на котором написана почти каждая модель и статья; без них новые методы скорее нечитабельны, чем просто незнакомы.
Написание эффективного кода на Python и фреймворка глубокого обучения, а также достаточное понимание проектирования распределенных систем для выполнения обучающих заданий на десятках или тысячах процессоров.
Разработка контролируемых сравнений, запуск достаточного количества случайных начальных значений, чтобы можно было доверять результату, и определение того, какое конкретное изменение действительно вызвало улучшение, вместо того, чтобы предполагать очевидное объяснение.
Идти в ногу с публикацией десятков тысяч новых препринтов в год и определять, какие из них действительно важны, теперь само по себе является навыком.
Выбор того, какое из многих вероятных направлений стоит нескольких месяцев вычислений и внимания — самому сложному навыку, которому можно научить напрямую, который обычно достигается в результате работы вместе с опытным консультантом.
Результат, который невозможно описать достаточно ясно, чтобы выдержать рецензирование, или объяснить неспециалисту-спонсору, вряд ли сможет оказать какое-либо влияние, независимо от того, насколько он реален.
Анализ результатов ночного эксперимента, просмотр новых препринтов arXiv и обсуждение в лабораторном чате перед началом целенаправленной дневной работы.
Самый защищенный блок дня, посвященный написанию обучающего кода, отладке модели или разработке следующего эксперимента в серии.
Часто едят с коллегами по лаборатории и часто становятся местом неформального обмена идеями, который редко бывает на запланированной встрече.
Лабораторные встречи, беседы один на один с консультантом или менеджером, а также сменяющаяся группа чтения, где кто-то представляет статью, которую группа должна понять.
Выяснение того, почему эксперимент сработал или не сработал, обновление общего документа с результатами и составление разделов статьи раньше установленного срока.
Личное время — за исключением недель перед дедлайном важной конференции, когда вечера и выходные обычно уходят на завершение экспериментов.
Craft knowledge practitioners actually pass on — not motivation.
Прежде чем доверять обучающему прогону на полном наборе данных, убедитесь, что модель может свести потери почти к нулю на небольшом количестве примеров. Если он не может запомнить даже десять примеров, значит, ошибка в коде, а не в данных.
Удивительная доля опубликованных «улучшений» сокращается или исчезает, как только базовый уровень сравнения получает тот же бюджет поиска гиперпараметров, что и новый метод — шаблон, документированный как в GAN, так и в языковых моделях.
Когда новый метод с пятью объединенными вместе изменениями превосходит старый, удалите каждое изменение отдельно и повторите тестирование, прежде чем засчитывать какую-либо отдельную идею — в противном случае история статьи и фактическая причина выигрыша могут незаметно разойтись.
Число в таблице лидеров перестает измерять общие способности, как только исследователи неоднократно настраиваются против него — динамика, давно известная как закон Гудхарта и прямо цитируемая в критике насыщения тестов в НЛП и видении.
Заблаговременное составление основных утверждений статьи ставит конкретную, фальсифицируемую цель для оставшихся экспериментов, вместо того, чтобы сначала проводить эксперименты и собирать повествование о том, что сработало.
Неудачные конфигурации, начальные значения и гиперпараметры обычно выбрасываются после неудачного запуска, но их запись не позволяет лаборатории незаметно повторно запустить тот же тупик шесть месяцев спустя под другим именем.
Две доминирующие структуры глубокого обучения; PyTorch лидирует в большинстве академических и отраслевых исследований, а JAX популярен благодаря крупномасштабным работам, связанным с Google.
Общие кластеры, запланированные с помощью таких инструментов, как Slurm, которые превращают проект модели в настоящую обученную сеть — часто это самое большое ограничение на возможные эксперименты.
На практике де-факто место публикации в этой области: новые результаты распространяются здесь в виде препринтов, часто за несколько месяцев до публикации или вообще без формального рецензирования.
Панели отслеживания экспериментов, которые регистрируют кривые потерь, гиперпараметры и результаты сотен прогонов, без которых сравнение экспериментов было бы невозможным.
Интерактивные среды для быстрого исследования данных, отладки поведения модели на конкретных примерах и создания прототипов перед тем, как код перейдет в полный конвейер обучения.
Достижение дробного улучшения точности с помощью дополнительного поиска гиперпараметров или масштабирования без гипотезы о том, почему это работает, дает результаты, на которые трудно опираться кому-либо еще, даже если само число действительно.
Запуск множества начальных значений и публикация только лучшего из них вместо среднего и разброса делает обычный шум похожим на настоящий эффект — проблема, неоднократно отмечавшаяся в исследованиях воспроизводимости обучения с подкреплением и НЛП.
Данные испытаний, которые просочились в предтренировочный корпус, или вычислительный бюджет, незаметно превышающий бумажные отчеты, могут сделать результат невозможным для воспроизведения — и, будучи обнаруженными, наносят ущерб авторитету исследователя больше, чем мог бы нанести скромный и честный результат.
Разрабатывает и производит транзисторы внутри каждого компьютера, телефона и оружия, используя настолько точные станки, что их могут эксплуатировать лишь несколько заводов на Земле.
AI-resistant 60 📦Создает системы, которые обучают, развертывают, контролируют и управляют моделями машинного обучения в производстве.
AI-resistant 54 🩺Диагностирует болезнь и следит за здоровьем в течение многих лет с помощью осмотров и доказательств, а не одной операции — универсальный и долгосрочный справочник медицины.
AI-resistant 67 🧠Диагностика и лечение психических заболеваний с помощью лекарств и терапии, одна из единственных медицинских специальностей, имеющих законное право удерживать пациента в критическом состоянии.
AI-resistant 73 👔Консультирует клиентов, составляет документы, обязывающие их, и аргументирует их дело, когда оно доходит до суда, неся личную юридическую ответственность, если совет окажется неверным.
AI-resistant 58 🔐Защищает системы, данные и людей, обнаруживая, предотвращая и реагируя на цифровые атаки.
AI-resistant 63Пишет, тестирует и поддерживает код, который управляет современной жизнью, и является одной из первых профессий, наблюдающих, как ИИ автоматизирует свою повседневную работу.
AI-resistant 35 🛰️Проектирует, анализирует и сертифицирует летательные аппараты, ракеты и космические корабли, отрывающиеся от земли, работая с запасом безопасности, не оставляющим места для догадок.
AI-resistant 74 🌉Профессия, превращающая реки, скалы и гравитацию в мосты, дороги и чистую воду — тихая несущая сила цивилизации со времен Имхотепа.
AI-resistant 72 🔌Разрабатывает и производит транзисторы внутри каждого компьютера, телефона и оружия, используя настолько точные станки, что их могут эксплуатировать лишь несколько заводов на Земле.
AI-resistant 60 🦾Разрабатывает машины, которые чувствуют, принимают решения и действуют в физическом мире, где сложной проблемой является не интеллект, а сам мир.
AI-resistant 65 🔐Защищает системы, данные и людей, обнаруживая, предотвращая и реагируя на цифровые атаки.
AI-resistant 63 📦Создает системы, которые обучают, развертывают, контролируют и управляют моделями машинного обучения в производстве.
AI-resistant 54 🌬️Проектирует, строит и совершенствует ветровые, солнечные, накопительные и сетевые системы, которые превращают возобновляемые ресурсы в надежную электроэнергию.
AI-resistant 72