모델링하기 전에 먼저 데이터를 보라
무언가를 적합하기 전에 원 분포, 산점도, 간단한 요약을 먼저 그려보는 습관은, 그렇지 않으면 모델이 조용히 흡수해 감춰버릴 깨진 데이터, 단위 오류, 이상치를 잡아낸다.
데이터 과학자가 정교한 예측 모델을 만든다는 대중적 이미지는 사실이지만 온전한 그림은 아니다. 실무자 설문과 경험담은 한결같이, 대부분의 사람이 떠올리는 모델링 단계보다 지저분한 데이터를 찾고 정제하고 재구성하는 데 더 많은 시간이 든다고 말한다.
이 분야에서 대물림되는 기술은 특정 알고리즘을 암기하는 것보다는 훈련된 회의주의에 더 가깝다. 모델을 신뢰하기 전에 먼저 데이터를 눈으로 살피고, 어떤 패턴이 하위 그룹 안에서도 유지되는지 확인하며, 이해관계자의 질문에 정직한 답이 '데이터가 그것을 뒷받침하지 못한다'는 것일 때 그렇게 말할 줄 아는 것이다.
이 일이 요구하는 역량
통계와 확률85
프로그래밍(Python, SQL, R)78
데이터 랭글링과 파이프라인70
머신러닝 모델링72
결과 전달62
비즈니스·도메인 맥락58
통계와 확률
가설검정, 회귀분석, 그리고 p값이나 신뢰구간이 실제로 무엇을 주장하는지 이해하는 것 — 이 일의 나머지 모든 것이 그 위에 놓이는 추론적 기반이다.
프로그래밍(Python, SQL, R)
다시는 실행되지 않을 노트북 속 시제품 분석이 아니라, 대규모로 데이터를 뽑고 정제하고 변환할 만큼 능숙한 코드를 작성하는 능력.
데이터 랭글링과 파이프라인
결측값, 중복 기록, 형식 불일치 같은 지저분한 실제 데이터를 모델이나 차트가 실제로 쓸 수 있는 형태로 바꾸는 능력.
머신러닝 모델링
문제에 적합한 모델을 고르고 학습시키고 검증하며, 단순 회귀가 정교한 신경망을 능가하는 순간을 알아채는 능력.
결과 전달
통계 결과를 지나치게 단순화하거나 실제 불확실성을 감추지 않으면서, 비전문가 임원이 행동으로 옮길 수 있는 차트, 메모, 권고안으로 옮기는 능력.
비즈니스·도메인 맥락
특정 비즈니스나 과학 분야에서 지표가 실제로 무엇을 의미하는지 이해해, 분석이 실제로 던져진 질문에 답하도록 하는 능력.
하루의 풍경
- 8–9
스탠드업과 대시보드 점검
밤새 돌아간 파이프라인과 핵심 지표 대시보드를 확인하고, 팀과 그날의 우선순위를 짧게 맞춘다.
- 9–12
데이터 추출과 정제
데이터 웨어하우스에 SQL 쿼리를 작성하고, 테이블을 조인하고 재구성하며, 결측값이나 불일치를 처리한다 — 흔히 하루 중 가장 큰 단일 업무 블록이다.
- 12–13
점심
진짜 휴식 시간이면서, 정식 회의로 이어지기 전에 팀 간 문제가 비공식적으로 제기되는 자리이기도 하다.
- 13–15
모델링과 분석
통계 모델을 구축하거나 다듬고, 실험의 유의성 검정을 실행하거나, 어떤 지표가 왜 움직였는지 파고든다.
- 15–17
이해관계자 미팅과 리뷰
제품팀이나 비즈니스팀에 결과를 발표하고, A/B 테스트 결과를 검토하거나, 질문 세례 속에서 분석의 가정을 방어한다.
- 17–8
퇴근 후(대부분)
제품 출시나 분기 실적 검토 즈음이 아니면 대개 개인 시간이지만, 그런 시기에는 저녁 시간에 막판 분석 요청이 몰릴 수 있다.
노하우
현장에서 실제로 전수되는 기술 지식 — 동기부여 문구가 아니다.
하위 그룹 안에서도 추세가 유지되는지 확인하라
전체 추세는 관련 범주로 나누는 순간 완전히 뒤집힐 수 있다 — 통계학자 에드워드 H. 심슨의 1951년 논문 이름을 딴 심슨의 역설이라는 패턴이다.
테스트셋을 떼어두고 마지막까지 보지 마라
같은 홀드아웃 데이터를 반복해 확인하며 모델을 조정하면 그 데이터의 정보가 조용히 모델로 새어 들어간다 — 단 한 번만 확인하는 것이 최종 결과의 정직성을 지키는 방법이다.
프로젝트 예산의 대부분을 모델링이 아니라 정제에 배정하라
실제 프로젝트는 반대의 경우가 아니라 데이터 준비 80%, 모델링 20%에 훨씬 가깝게 돌아간다 — 반대로 가정한 일정은 프로젝트가 지연되는 흔한 원인이다.
가장 단순하게 통할 법한 모델부터 먼저 배포하라
규칙이나 단순 선형모델 같은 베이스라인은 더 복잡한 모델이 실제로 얼마나 더해주는지 드러내며, 그 자체로 배포해도 충분한 경우가 많다.
패턴이 너무 좋아 보이면 교란 변수를 찾아라
놀라운 상관관계는 진짜 발견이라기보다 숨겨진 제3의 변수가 만든 인위적 결과인 경우가 더 많다 — 결과를 발표하기 전에 다른 설명이 없는지 적극적으로 찾아봐야 한다.
일의 도구들
Python(pandas, scikit-learn, NumPy)
데이터 조작과 고전적 머신러닝을 위한 지배적 언어로, 표 형태 데이터를 위한 pandas와 표준 모델링 알고리즘을 위한 scikit-learn이 짝을 이룬다.
SQL
대부분의 회사 데이터가 실제로 자리 잡고 있는 관계형·클라우드 데이터 웨어하우스 — Snowflake, BigQuery, Redshift — 에서 데이터를 뽑아내는 질의 언어.
Jupyter 노트북
코드를 실행하고 차트를 확인하고 메모를 남기는 작업을 같은 문서 안에서 할 수 있게 해주는, 탐색적 분석의 표준 대화형 환경.
Tableau / Power BI
완성된 분석을 비전문가 이해관계자가 코드 없이 직접 탐색하고 모니터링할 수 있는 형태로 바꿔주는 비즈니스 인텔리전스 대시보드 도구.
Git과 클라우드 플랫폼(AWS, GCP, Azure)
코드, 그리고 점점 더 많이 모델에 대한 버전 관리, 그리고 노트북 한 대로는 감당할 수 없는 규모로 데이터를 저장하고 학습 작업을 돌리는 클라우드 인프라.
실패하는 이유
유의해질 때까지 검정 반복하기
많은 통계 비교를 실행하고 유의성 기준을 넘은 것만 보고하면 재현되지 않을 거짓 발견이 생긴다 — p-해킹이라 불리는 잘 알려진 실패 유형이다.
타깃이 새어 들어간 모델 배포하기
예측하려는 결과 자체를 담고 있는 변수를 실수로 포함시키면 비현실적으로 강한 오프라인 결과가 나오지만, 실제 운영에서 처음 보는 데이터를 만나는 순간 무너진다.
엉뚱한 질문에 정교한 답 만들기
단순한 SQL 쿼리나 스프레드시트 수식으로도 똑같이 풀 수 있는 문제에 정교하게 튜닝한 머신러닝 모델을 쓰는 것은 노력을 낭비하고 정작 진짜 비즈니스 질문을 놓칠 수 있다.
계속 탐색하기
과학·연구 분야의 다른 직업
⚛️
물리학자
물질과 에너지, 공간과 시간을 지배하는 수학 법칙을 이끌어내고 검증한다. 혼자 칠판 앞에 선 연구자에서 3,000명이 공동 저자로 이름을 올리는 입자가속기 논문까지 그 모습은 다양하다.
AI 내성 65 🧬생물학자
생명 그 자체를 연구하는 과학자. 린네가 손으로 종을 명명하던 시절부터 크리스퍼로 유전체를 편집하는 오늘날까지, 모든 아이디어를 살아있는 생물체에 비추어 검증한다.
AI 내성 64 🧪화학자
물질 그 자체를 만들고 측정하는 과학자 — 바빌로니아 타푸티의 증류기에서 오늘날 로봇 실험실에 이르기까지, 스펙트럼이 의미하는 바를 결정하는 것은 여전히 사람이다.
AI 내성 70 🔭천문학자
바빌로니아의 점토판에서 우주 망원경까지, 우주를 측정하는 과학자 — 데이터 속 어떤 깜빡임이 발견인지는 지금도 가려내는 중이다.
AI 내성 70 🧮수학자
바빌로니아 서기관에서 필즈상 수상자와 AI 보조 증명까지: 어려운 질문을 영구적 확실성으로 바꾸는 직업, 정리 하나하나마다.
AI 내성 70