모델링하기 전에 먼저 데이터를 보라
무언가를 적합하기 전에 원 분포, 산점도, 간단한 요약을 먼저 그려보는 습관은, 그렇지 않으면 모델이 조용히 흡수해 감춰버릴 깨진 데이터, 단위 오류, 이상치를 잡아낸다.
진한 칸일수록 이 직업에서 해당 지표가 높습니다.
낮음높음
'AI 모델을 만든다'는 이미지와 달리, 대부분의 하루는 데이터를 뽑고 정제하는 SQL·Python 코드 작성, 통계 검정이나 모델 학습, 그리고 그 결과를 비전문가 이해관계자가 행동으로 옮길 수 있는 차트나 메모로 옮기는 작업으로 나뉜다. 실무자 설문조사는 일관되게 데이터 정제와 준비가 전체 근무 시간의 절반 이상을 차지한다고 보고한다.
아니다. 의학이나 법학과 달리 자격증이나 필수 학위가 정해져 있지 않으며, 통계학·컴퓨터공학·수학 등 정량적 분야의 학사나 석사가 가장 흔한 경로다. 실제 프로젝트로 구성된 탄탄한 포트폴리오가 정확한 학위보다 더 중요하게 평가되는 경우가 많다. 박사 학위는 연구 중심이나 응용 머신러닝 비중이 큰 직무에서 더 흔하다.
정확히는 아니다. 피셔의 실험 설계, 튜키의 탐색적 분석 등 통계학에 크게 의존하지만, 고전 통계학과에서는 거의 가르치지 않던 프로그래밍, 데이터베이스 엔지니어링, 머신러닝을 더한다. 윌리엄 S. 클리블랜드는 2001년에 이 확장된 컴퓨팅 중심 통계학을 가리키기 위해 이 용어를 제안했으며, 이는 통계학을 대체하는 것이 아니라 그 위에 세운 개념이다.
정형화된 업무는 이미 상당히 노출되어 있다. AutoML 도구는 표준 모델을 학습하고 튜닝할 수 있고, AI 어시스턴트는 사람보다 빠르게 SQL 쿼리를 작성하고 탐색적 차트 초안을 그리며 상용구 파이프라인 코드를 짤 수 있다. 아직 자동화되지 않은 것은 올바른 질문을 설정하는 능력, 패턴이 의미 있는지 우연인지 판단하는 능력, 그리고 그 결과로 내려진 결정에 책임을 지는 일이다.
국가와 경력에 따라 크게 다르다. 미국 노동통계국은 2023년 데이터 과학자 직군의 연봉 중위값을 약 $108,000로 집계했으며, 주니어 애널리스트는 흔히 $70,000~$95,000에서 시작하고 대형 기술 기업의 시니어·프린시펄 데이터 과학자는 지분을 포함한 총보상이 $200,000~$400,000 이상에 이르기도 한다.
데이터 애널리스트는 대개 기존 데이터와 대시보드로 정해진 비즈니스 질문에 답한다. 데이터 과학자는 더 지저분한 데이터로부터 새로운 통계 모델과 예측 분석을 만든다. 머신러닝 엔지니어는 노트북 속 모델을 꺼내 대규모로 안정적으로 운영하게 만든다. 세 역할의 경계는 끊임없이 흐려지며, 많은 사람이 커리어 동안 셋 사이를 오간다.
데이터 과학자가 정교한 예측 모델을 만든다는 대중적 이미지는 사실이지만 온전한 그림은 아니다. 실무자 설문과 경험담은 한결같이, 대부분의 사람이 떠올리는 모델링 단계보다 지저분한 데이터를 찾고 정제하고 재구성하는 데 더 많은 시간이 든다고 말한다.
이 분야에서 대물림되는 기술은 특정 알고리즘을 암기하는 것보다는 훈련된 회의주의에 더 가깝다. 모델을 신뢰하기 전에 먼저 데이터를 눈으로 살피고, 어떤 패턴이 하위 그룹 안에서도 유지되는지 확인하며, 이해관계자의 질문에 정직한 답이 '데이터가 그것을 뒷받침하지 못한다'는 것일 때 그렇게 말할 줄 아는 것이다.
가설검정, 회귀분석, 그리고 p값이나 신뢰구간이 실제로 무엇을 주장하는지 이해하는 것 — 이 일의 나머지 모든 것이 그 위에 놓이는 추론적 기반이다.
다시는 실행되지 않을 노트북 속 시제품 분석이 아니라, 대규모로 데이터를 뽑고 정제하고 변환할 만큼 능숙한 코드를 작성하는 능력.
결측값, 중복 기록, 형식 불일치 같은 지저분한 실제 데이터를 모델이나 차트가 실제로 쓸 수 있는 형태로 바꾸는 능력.
문제에 적합한 모델을 고르고 학습시키고 검증하며, 단순 회귀가 정교한 신경망을 능가하는 순간을 알아채는 능력.
통계 결과를 지나치게 단순화하거나 실제 불확실성을 감추지 않으면서, 비전문가 임원이 행동으로 옮길 수 있는 차트, 메모, 권고안으로 옮기는 능력.
특정 비즈니스나 과학 분야에서 지표가 실제로 무엇을 의미하는지 이해해, 분석이 실제로 던져진 질문에 답하도록 하는 능력.
밤새 돌아간 파이프라인과 핵심 지표 대시보드를 확인하고, 팀과 그날의 우선순위를 짧게 맞춘다.
데이터 웨어하우스에 SQL 쿼리를 작성하고, 테이블을 조인하고 재구성하며, 결측값이나 불일치를 처리한다 — 흔히 하루 중 가장 큰 단일 업무 블록이다.
진짜 휴식 시간이면서, 정식 회의로 이어지기 전에 팀 간 문제가 비공식적으로 제기되는 자리이기도 하다.
통계 모델을 구축하거나 다듬고, 실험의 유의성 검정을 실행하거나, 어떤 지표가 왜 움직였는지 파고든다.
제품팀이나 비즈니스팀에 결과를 발표하고, A/B 테스트 결과를 검토하거나, 질문 세례 속에서 분석의 가정을 방어한다.
제품 출시나 분기 실적 검토 즈음이 아니면 대개 개인 시간이지만, 그런 시기에는 저녁 시간에 막판 분석 요청이 몰릴 수 있다.
현장에서 실제로 전수되는 기술 지식 — 동기부여 문구가 아니다.
무언가를 적합하기 전에 원 분포, 산점도, 간단한 요약을 먼저 그려보는 습관은, 그렇지 않으면 모델이 조용히 흡수해 감춰버릴 깨진 데이터, 단위 오류, 이상치를 잡아낸다.
전체 추세는 관련 범주로 나누는 순간 완전히 뒤집힐 수 있다 — 통계학자 에드워드 H. 심슨의 1951년 논문 이름을 딴 심슨의 역설이라는 패턴이다.
같은 홀드아웃 데이터를 반복해 확인하며 모델을 조정하면 그 데이터의 정보가 조용히 모델로 새어 들어간다 — 단 한 번만 확인하는 것이 최종 결과의 정직성을 지키는 방법이다.
실제 프로젝트는 반대의 경우가 아니라 데이터 준비 80%, 모델링 20%에 훨씬 가깝게 돌아간다 — 반대로 가정한 일정은 프로젝트가 지연되는 흔한 원인이다.
규칙이나 단순 선형모델 같은 베이스라인은 더 복잡한 모델이 실제로 얼마나 더해주는지 드러내며, 그 자체로 배포해도 충분한 경우가 많다.
놀라운 상관관계는 진짜 발견이라기보다 숨겨진 제3의 변수가 만든 인위적 결과인 경우가 더 많다 — 결과를 발표하기 전에 다른 설명이 없는지 적극적으로 찾아봐야 한다.
데이터 조작과 고전적 머신러닝을 위한 지배적 언어로, 표 형태 데이터를 위한 pandas와 표준 모델링 알고리즘을 위한 scikit-learn이 짝을 이룬다.
대부분의 회사 데이터가 실제로 자리 잡고 있는 관계형·클라우드 데이터 웨어하우스 — Snowflake, BigQuery, Redshift — 에서 데이터를 뽑아내는 질의 언어.
코드를 실행하고 차트를 확인하고 메모를 남기는 작업을 같은 문서 안에서 할 수 있게 해주는, 탐색적 분석의 표준 대화형 환경.
완성된 분석을 비전문가 이해관계자가 코드 없이 직접 탐색하고 모니터링할 수 있는 형태로 바꿔주는 비즈니스 인텔리전스 대시보드 도구.
코드, 그리고 점점 더 많이 모델에 대한 버전 관리, 그리고 노트북 한 대로는 감당할 수 없는 규모로 데이터를 저장하고 학습 작업을 돌리는 클라우드 인프라.
많은 통계 비교를 실행하고 유의성 기준을 넘은 것만 보고하면 재현되지 않을 거짓 발견이 생긴다 — p-해킹이라 불리는 잘 알려진 실패 유형이다.
예측하려는 결과 자체를 담고 있는 변수를 실수로 포함시키면 비현실적으로 강한 오프라인 결과가 나오지만, 실제 운영에서 처음 보는 데이터를 만나는 순간 무너진다.
단순한 SQL 쿼리나 스프레드시트 수식으로도 똑같이 풀 수 있는 문제에 정교하게 튜닝한 머신러닝 모델을 쓰는 것은 노력을 낭비하고 정작 진짜 비즈니스 질문을 놓칠 수 있다.
같은 분야만이 아니라 여섯 점수 프로필이 가까운 직업입니다.
장부의 수호자: 문자 자체를 만들어낸 오래된 기술의 계승자이자, 이제는 자신을 자동화하려는 소프트웨어와 협상 중이다.
AI 내성 35 🗺️회사가 다음에 무엇을 만들지, 왜 만들어야 하는지를 결정하는 사람. 고객의 필요, 사업 목표, 엔지니어링의 한계를 하나의 공유된 계획으로 엮어내지만, 그 계획을 온전히 소유하는 사람은 따로 없다.
AI 내성 50 💻현대 사회를 움직이는 코드를 작성하고 테스트하고 유지보수하는 직업이며, AI가 자기 일상 업무를 자동화하는 모습을 가장 먼저 지켜보는 직업 중 하나다.
AI 내성 35 📣수요를 만들어내는 전문가. 폼페이의 벽화 광고와 P&G의 1931년 브랜드맨 메모에서 경매 기반의 디지털 피드 시대까지.
AI 내성 38 📦프로덕션 환경에서 기계 학습 모델을 교육, 배포, 모니터링 및 관리하는 시스템을 구축합니다.
AI 내성 54 🔎사람들이 제품을 어떻게 사용하는지 연구해, 관찰된 행동과 필요와 불만을 팀이 디자인의 근거로 삼을 수 있는 증거로 바꾸는 일.
AI 내성 69물질과 에너지, 공간과 시간을 지배하는 수학 법칙을 이끌어내고 검증한다. 혼자 칠판 앞에 선 연구자에서 3,000명이 공동 저자로 이름을 올리는 입자가속기 논문까지 그 모습은 다양하다.
AI 내성 65 🧬생명 그 자체를 연구하는 과학자. 린네가 손으로 종을 명명하던 시절부터 크리스퍼로 유전체를 편집하는 오늘날까지, 모든 아이디어를 살아있는 생물체에 비추어 검증한다.
AI 내성 64 🧪물질 그 자체를 만들고 측정하는 과학자 — 바빌로니아 타푸티의 증류기에서 오늘날 로봇 실험실에 이르기까지, 스펙트럼이 의미하는 바를 결정하는 것은 여전히 사람이다.
AI 내성 70 🔭바빌로니아의 점토판에서 우주 망원경까지, 우주를 측정하는 과학자 — 데이터 속 어떤 깜빡임이 발견인지는 지금도 가려내는 중이다.
AI 내성 70 🧮바빌로니아 서기관에서 필즈상 수상자와 AI 보조 증명까지: 어려운 질문을 영구적 확실성으로 바꾸는 직업, 정리 하나하나마다.
AI 내성 70 🧿컴퓨팅, 감지, 통신 및 재료 연구를 위해 양자 상태를 활용하는 장치를 구축, 측정 및 제어합니다.
AI 내성 78 🧫임상, 시험 및 건강 시스템 데이터를 사용하여 보다 안전한 치료, 연구 및 운영 결정을 위한 신뢰할 수 있는 증거를 생성합니다.
AI 내성 68