결과가 실제인지 판단하기
82잡음, 운 좋은 시드, 혹은 훈련 데이터로 조용히 유출된 벤치마크와 진짜 효과를 구별하는 데는 바로 그 회의적인 판단력이 필요한데, 이는 자동화된 시스템이 자신의 결과물에 적용하는 데 가장 서투른 능력이다.
AI 연구는 자기 자신의 결과물에 가장 직접적으로 노출된 직업이다. 이 분야가 만들어낸 도구들이 이제 의도적으로 연구 과정 자체를 겨냥해 논문을 요약하고, 실험을 제안하고, 훈련 코드를 작성하는 데 쓰이고 있다. 그래서 이 항목은 이 사이트의 다른 거의 어떤 직업 프로필보다도 가설적이지 않다.
이런 노출이 이 직업을 쓸모없게 만드는 것은 아니지만, 무엇이 살아남을지에 대한 논의를 유난히 구체적으로 만든다. 소수의 연구소가 연구 순환 전체를 실행하는 시스템을 공공연히 만들려 하고 있으며, 현재로서 정직한 답은 그들이 그중 일부는 해낼 수 있지만 결과가 참인지 판단하는 데 가장 중요한 부분은 아직 해내지 못한다는 것이다.
보통
기계가 대신할 수 있는 업무의 비율
AI 연구자의 일상적 업무 중 상당 부분 — 문헌 선별, 실험 코드 초안 작성, 하이퍼파라미터 탐색, 관련 연구 절 초안 작성 — 은 이미 AI 시스템이 비슷한 속도로 해낼 수 있으며, 연구 순환의 더 많은 부분을 자동화하도록 명시적으로 설계된 다중 에이전트 연구 시스템이 여러 주요 연구소에서 활발히 진행 중인 프로젝트다. 아직 자동화되지 않은 것은 결과가 실제인지 판단하는 일, 어떤 질문을 던질 가치가 있는지 결정하는 일, 그리고 발표한 주장이 틀렸다고 밝혀졌을 때 책임을 지는 일이다.
직함이 아니라 업무 단위로 산정했다. 낮을수록 안전하다.
AI가 대체하지 못하는 직업 →기계가 가져가지 못하는 것
어떤 질문을 던질 가치가 있는지 선택하기
85구체적이고 어렵고 아직 충분히 탐구되지 않은 문제가 연구소의 몇 달치 연산과 관심을 쏟을 가치가 있다고 판단하는 것은 불완전한 정보를 바탕으로 하는 도박이다. 이는 과거 논문에 대한 패턴 매칭과는 가장 거리가 먼 연구 부분이다.
발표한 주장에 대한 책임
88결과가 재현에 실패하거나 결함 있는 베이스라인에 근거했음이 드러났을 때, 누군가는 그 뒤에 서서 책임을 져야 한다. 모델은 자신의 결과물에 대해 전문적이거나 과학적인 책임을 질 수 없다.
학제 간·윤리적 판단
76발표 전에 어떤 시스템이 미칠 사회적 영향, 안전 위험, 또는 이중용도 가능성을 저울질하는 일은 자동화된 연구 파이프라인이 스스로 판단할 근거가 없는 가치관과 맥락에 기반한다.
여러 해에 걸쳐 과학적 안목 기르기
78경력 전체에 걸쳐 수백 번의 실험이 성공하고 실패하는 것을 지켜보며 길러지는, 어떤 놀라운 결과를 좇을 가치가 있는지에 대한 직관은 아직 어떤 시스템도 시니어 연구자 수준으로 보여주지 못한 능력이다.
이미 가져가고 있는 것
문헌 선별과 요약
70매년 수만 편의 새 프리프린트가 쏟아지는 상황에서, 논문을 관련성에 따라 요약하고 순위를 매기는 도구는 이미 이 분야 전반에서 일상적으로 쓰이고 있다.
실험 및 파이프라인 코드 초안
68표준적인 훈련 루프, 데이터 로더, 평가 스크립트를 엮어내는 일은 이제 처음부터 직접 짜는 것보다 생성한 뒤 검토하는 편이 흔히 더 빠르다.
하이퍼파라미터 탐색
74자동화된 튜닝 시스템은 연구자가 설정을 하나씩 수작업으로 시도하는 것보다 훨씬 더 철저하고 저렴하게 파라미터 공간을 탐색할 수 있다.
관련 연구 및 배경 절 초안 작성
55새 논문과 관련된 선행 연구를 요약하는 첫 단계 작업은 점점 더 AI의 도움을 받고 있지만, 구체적인 프레이밍과 정직한 비교는 여전히 연구자의 검토가 필요하다.
일이 변해가는 방식
실험을 직접 돌리는 것에서 지휘하는 것으로
연구자의 시간 중 점점 더 많은 부분이, 모든 실험을 직접 작성하고 실행하는 대신 자동화된 시스템이 무엇을 시도해야 할지 지정하고 그 결과물을 판단하는 데 쓰이고 있다.
연산이 아이디어만큼 결정적인 요소가 되다
이 분야 자신의 '쓰라린 교훈'이 예견한 대로, 대규모 연산에 대한 접근성이 어떤 연구소가 특정 아이디어를 시험이라도 해볼 수 있는지를 점점 더 좌우하며, 최전선 연구를 자금이 풍부한 소수 기관 안으로 집중시키고 있다.
재현성과 평가의 위상이 높아지다
AI의 도움을 받는 도구들이 그럴듯해 보이는 결과를 빠르게 만들어내기 쉽게 해줄수록, 그 결과를 엄밀하게 검증하는 일은 연구 그룹 내에서 더 가치 있게 여겨지고 별도의 인력이 배치되는 전문 분야로 떠오르고 있다.
연구 순환의 자동화 자체가 하나의 연구 주제가 되다
가설을 제안하고, 실험을 실행하고, 사람의 감독을 최소화한 채 논문 초안을 작성하도록 설계된 시스템들 — 사카나 AI(Sakana AI)의 'AI 사이언티스트'(2024년)나 구글 딥마인드의 'AI 공동과학자'(2025년) 같은 프로젝트 — 은 그 자체로 이제 활발히 논문이 발표되는 연구 영역이 되었다.
갈라져 나오는 새 직업들
AI 안전성/정렬(alignment) 연구자
점점 더 강력해지는 시스템이 설계자가 의도한 대로 안정적으로 작동하게 만드는 방법을 연구한다. 2010년대 이전에는 독립된 경력 경로로서 거의 존재하지 않던 전문 분야다.
ML 인프라/시스템 엔지니어
오늘날 최전선 연구가 그 어떤 개별 알고리즘 아이디어 못지않게 의존하는 분산 훈련 및 연산 인프라를 구축하고 유지한다.
AI 정책 연구자
기술 연구와 정부·기업 정책 사이의 경계에서 일하며, 연구소 자체 시스템이 할 수 있는 일과 할 수 없는 일을 규칙이나 안전장치로 옮겨낸다.
레드티밍/평가 전문가
모델과 AI가 생성한 연구 결과물이 실제 운영이나 발표에 이르기 전에, 고장 유형과 보안 허점, 거짓 주장을 의도적으로 찾아내 시험한다.
전망
AI 연구 인재에 대한 수요는 앞으로 10년간 계속 강세를 유지할 가능성이 매우 크지만, 이 직업의 신입 단계 모습은 이미 바뀌고 있다. 순전히 손으로 일상적인 실험을 돌리기만 하는 자리는 줄어들고, 신입 연구자에게 AI 지원 파이프라인이 거의 즉시 만들어낸 작업을 지휘하고 의문을 제기하고 검증하기를 기대하는 자리가 늘어날 것이다.
장기적으로 가장 뚜렷한 우위는 진정으로 새로운 질문을 세울 수 있고, 그럴듯해 보이는 결과가 조용히 틀렸을 때를 알아챌 수 있고, 공개적으로 주장에 대한 책임을 질 수 있는 연구자에게 돌아갈 것이다. 이는 이 분야가 늘 필요로 해온 바로 그 판단력이며, 이제는 스스로 첫 초안을 점점 더 많이 써내는 연구 과정에 적용될 뿐이다.