데이터 과학자, 1970년의 탐색적 분석과 데이터마이닝 붐 — 제1064장 탐색적 분석과 데이터마이닝 붐

정확히는 아니다. 피셔의 실험 설계, 튜키의 탐색적 분석 등 통계학에 크게 의존하지만, 고전 통계학과에서는 거의 가르치지 않던 프로그래밍, 데이터베이스 엔지니어링, 머신러닝을 더한다. 윌리엄 S. 클리블랜드는 2001년에 이 확장된 컴퓨팅 중심 통계학을 가리키기 위해 이 용어를 제안했으며, 이는 통계학을 대체하는 것이 아니라 그 위에 세운 개념이다. 정형화된 업무는 이미 상당히 노출되어 있다. 도구는 표준 모델을 학습하고 튜닝할 수 있고, AI 어시스턴트는 사람보다 빠르게 SQL 쿼리를 작성하고 탐색적 차트 초안을 그리며 상용구 파이프라인 코드를 짤 수 있다. 아직 자동화되지 않은 것은 올바른 질문을 설정하는 능력, 패턴이 의미 있는지 우연인지 판단하는 능력, 그리고 그 결과로 내려진 결정에 책임을 지는 일이다.

국가와 경력에 따라 크게 다르다. 미국 노동통계국은 2023년 데이터 과학자 직군의 연봉 중위값을 약 $108,000로 집계했으며, 주니어 애널리스트는 흔히 $70,000~$95,000에서 시작하고 대형 기술 기업의 시니어·프린시펄 데이터 과학자는 지분을 포함한 총보상이 $200,000~$400,000 이상에 이르기도 한다. 데이터 과학자, 데이터 애널리스트, 머신러닝 엔지니어는 어떻게 다른가요? 데이터 애널리스트는 대개 기존 데이터와 대시보드로 정해진 비즈니스 질문에 답한다. 데이터 과학자는 더 지저분한 데이터로부터 새로운 통계 모델과 예측 분석을 만든다. 머신러닝 엔지니어는 노트북 속 모델을 꺼내 대규모로 안정적으로 운영하게 만든다. 세 역할의 경계는 끊임없이 흐려지며, 많은 사람이 커리어 동안 셋 사이를 오간다.

이 지배적이며, - 같은 라이브러리와 함께 데이터베이스 질의용 SQL이 짝을 이룬다. R은 학계와 생물통계 분야에서 여전히 흔히 쓰인다. 노트북이 탐색 작업의 표준 환경이며,,, 같은 클라우드 데이터 웨어하우스 플랫폼이 오늘날 대부분의 데이터 과학자가 실제로 조회하는 데이터를 담고 있다. 토머스 대븐포트와 DJ 파틸은 2012년 10월 하버드 비즈니스 리뷰 기사 제목으로 이 표현을 썼다. 이들은 통계적 역량과 코딩 능력, 비즈니스 판단력이라는 드문 조합이 이 역할을 희소하면서도 매우 수요 높은 존재로 만든다고 주장했다. 이 표현은 널리 퍼져 10년에 걸친 기업 채용 붐과 수십 개의 새로운 대학 학위 프로그램을 촉발하는 데 일조했다.