AI 연구는 스스로 탄생을 선언하고, 또다시 탄생을 선언하기를 반복해 온 분야다. 1950년대의 창시자들은 한 세대 안에 기계 지능이 등장하리라 기대했다. 그것이 실현되지 않자 연구비는 한 번이 아니라 두 번이나 붕괴했고, 그때마다 신경망을 포기하지 않은 소수의 연구자 집단이 대부분의 학계가 막다른 길로 여기던 시절을 견디며 아이디어의 명맥을 이어갔다.
이 이야기 전체를 관통하는 두 갈래 논쟁이 있다. 하나는 지능이 기호와 규칙으로 환원될 수 있는가, 아니면 데이터로부터 통계적으로 학습되어야만 하는가라는 철학적 논쟁이고, 다른 하나는 이 분야의 옹호자와 회의론자 중 누가 발전 속도를 더 정확히 예측했는가라는 실질적 논쟁이다. 두 논쟁 모두 아직 결론이 나지 않았지만, 두 번째 논쟁만큼은 비판자들의 예상보다 거듭 옹호자들 쪽에 유리하게 흘러갔다.
수학자 존 매카시(John McCarthy)는 마빈 민스키(Marvin Minsky), 너새니얼 로체스터(Nathaniel Rochester), 클로드 섀넌(Claude Shannon) 등 세 명의 공동 저자와 함께 1955년 록펠러 재단에 제출한 연구비 제안서에서, 자신들이 열고자 하는 여름 워크숍을 설명하기 위해 '인공지능'이라는 표현을 만들어냈다. 이 제안은 학습의 모든 측면이 원칙적으로 아주 정밀하게 기술될 수 있어 기계가 이를 시뮬레이션하도록 만들 수 있다는 추측에 바탕을 두고 있었다. 록펠러 재단은 요청한 $14,000 중 절반가량만 지원했다. 그해 여름 약 10명의 연구자가 다트머스에 모여 8주가량 머물렀다. 이 모임에서 이렇다 할 기술적 돌파구는 나오지 않았지만, 신중하게 선택한 그 이름과 그 이름이 붙여진 분야는 실제로 그곳에서 논의된 그 어떤 내용보다도 오래 살아남았다.
워런 매컬러(Warren McCulloch)와 월터 피츠(Walter Pitts)가 논문 'A Logical Calculus of the Ideas Immanent in Nervous Activity'를 발표해, 단순화된 전부 아니면 전무(all-or-nothing) 방식의 뉴런으로 이루어진 네트워크가 원칙적으로 어떤 논리 함수도 계산할 수 있음을 보였다. 이는 훗날 인공신경망의 시초로 평가받는 이론적 씨앗이 되었다.
앨런 튜링(Alan Turing)이 저널 《마인드(Mind)》에 발표한 논문 'Computing Machinery and Intelligence'에서 '기계가 생각할 수 있는가'라는 질문을 우회해 실용적인 테스트를 대신 제안하며, 50년 안에 약 10억 비트의 저장 용량을 가진 기계가 평균적인 질문자를 최소 30%의 확률로 속일 수 있으리라 예측했다.
존 매카시, 마빈 민스키, 너새니얼 로체스터, 클로드 섀넌이 주최한 8주간의 다트머스 여름 워크숍에서 '인공지능'이라는 용어가 만들어졌고, 이후 이 분야의 초기 연구 의제 상당 부분을 세우게 될 약 10명의 연구자가 한자리에 모였다.
프랭크 로젠블랫(Frank Rosenblatt)의 퍼셉트론은 처음에는 소프트웨어로, 이후 코넬 대학에서 전용 하드웨어로 구현되어 스스로 연결 가중치를 조정하며 단순한 이미지를 분류하는 법을 학습했다. 이는 훈련 가능한 인공신경망을 실제로 구현해 보인 최초의 사례였다.
마빈 민스키와 시모어 페퍼트(Seymour Papert)가 1969년 펴낸 책 《퍼셉트론(Perceptrons)》은 단일 계층 신경망이 XOR 같은 단순한 문제조차 풀 수 없음을 수학적으로 증명했고, 1973년 영국의 라이트힐 보고서(Lighthill Report)는 AI가 약속을 지키지 못했다고 결론지었다. 그 결과 신경망 및 AI 연구 전반에 대한 지원이 대서양 양쪽에서 모두 붕괴했다.
데이비드 럼멜하트(David Rumelhart), 제프리 힌턴(Geoffrey Hinton), 로널드 윌리엄스(Ronald Williams)가 《네이처(Nature)》에 'Learning representations by back-propagating errors'를 발표해, 오차 신호를 역방향으로 전파함으로써 다층 신경망을 효율적으로 훈련할 수 있음을 보였다. 이 알고리즘은 이후 만들어진 거의 모든 신경망 훈련에 지금도 쓰이고 있다.
저렴한 범용 워크스테이션이 성능을 따라잡으면서 전용 리스프 머신(Lisp machine) 시장이 거의 하룻밤 사이에 붕괴했고, 규칙 기반 전문가 시스템은 대규모로 유지하기에는 너무 취약하고 비용이 많이 든다는 사실이 드러났다. AI 연구비는 다시 위축되었고, 많은 연구자가 조용히 자신의 연구에서 그 용어를 빼기 시작했다.
얀 르쿤(Yann LeCun)이 벨 연구소(Bell Labs)에서 개발한 합성곱 신경망은 곧 수표에 손으로 쓴 숫자를 읽는 상업용 시스템에 도입되었다. 1990년대 말에는 그의 아키텍처를 기반으로 한 시스템이 미국에서 처리되는 수표의 상당 부분을 읽고 있었는데, 이는 딥러닝이 주류로 떠오르기 훨씬 전에 실제로 가동된 보기 드문 사례였다.
알렉스 크리제브스키(Alex Krizhevsky), 일리야 수츠케버(Ilya Sutskever), 제프리 힌턴의 심층 합성곱 신경망이 오차율 15.3%로 이미지넷(ImageNet) 대회에서 우승했다. 2위였던 참가작의 오차율은 26.2%로, 그 격차가 워낙 커서 학계 대부분이 거의 하룻밤 사이에 딥러닝이 컴퓨터 비전의 핵심 벤치마크를 해결했다고 확신하게 되었다.
구글 연구진이 'Attention Is All You Need'를 발표하며, 이후 거의 모든 주요 언어 모델의 근간이 된 트랜스포머(Transformer) 아키텍처를 선보였다. 이어 오픈AI의 GPT-3(2020년)와 챗GPT(2022년)는 같은 아키텍처에 더 많은 데이터와 연산을 투입할수록 새로운 능력이 계속 나타난다는 것을 보여주었고, 이는 업계 전체가 점점 더 큰 모델을 만들기 위해 경쟁하는 흐름을 촉발했다.
워런 매컬러와 월터 피츠가 1943년 뉴런을 단순한 논리 스위치로 모델링한 논문은 이후 연구자들에게 수학적 출발점을 제공했고, 앨런 튜링이 1950년 제안한 기계 지능 실용 테스트는 이 질문에 대중적인 형태를 부여했다. 두 아이디어는 1956년 다트머스 워크숍으로 이어졌고, 그곳에서 존 매카시와 세 명의 동료가 여름 모임을 위해 '인공지능'이라는 용어를 만들었다. 이 모임은 주최자들이 바랐던 것만큼 기술적 진전을 이루지는 못했지만, 방금 창시한 이 분야에 영구적인 이름을 붙여주었다.
프랭크 로젠블랫의 퍼셉트론(1958년)은 기계가 스스로 연결 가중치를 조정해 단순한 패턴을 분류하는 법을 배울 수 있음을 보여주었고, 초기의 낙관론은 일부 연구자가 한 세대 안에 인간 수준의 기계 지능이 등장하리라 예측할 정도로 뜨거웠다. 그러나 마빈 민스키와 시모어 페퍼트가 1969년 펴낸 《퍼셉트론》은 로젠블랫의 것과 같은 단일 계층 신경망이 기본적인 문제조차 풀 수 없음을 수학적으로 증명했고, 1973년 영국의 라이트힐 보고서는 AI 연구가 약속을 지키지 못했다고 결론지었다. 이는 대서양 양쪽에서 깊은 연구비 삭감을 촉발하며 이 분야의 첫 번째 '겨울'을 불러왔다.
이 분야는 인간 전문가의 지식을 수천 개의 조건-결과(if-then) 규칙으로 부호화한 규칙 기반 '전문가 시스템'에서 두 번째 활력을 찾았다. 디지털 이큅먼트 코퍼레이션(Digital Equipment Corporation)의 XCON은 컴퓨터 주문 구성 작업만으로 연간 수천만 달러를 절감했다고 알려졌다. 이를 구동하기 위한 전용 리스프 머신 하드웨어 회사들이 우후죽순 생겨났고, 일본의 야심 찬 제5세대 컴퓨터 시스템 프로젝트는 1980년대 내내 이 접근법에 정부 자금을 쏟아부었다. 그러나 규칙들은 대규모로 유지하기에는 너무 취약하고 비용이 많이 든다는 사실이 드러났고, 1987년 리스프 머신 시장이 거의 하룻밤 사이에 붕괴하며 두 번째 AI 겨울이 찾아왔다.
대중의 시선에서 벗어난 곳에서, 이 분야의 무게중심은 손으로 짠 규칙에서 통계적 머신러닝 쪽으로 옮겨가고 있었다. 서포트 벡터 머신, 베이지안 기법, 그리고 제프리 힌턴, 얀 르쿤, 요슈아 벤지오(Yoshua Bengio) 등의 연구자들이 명맥을 이어간 신경망이 그 중심에 있었다. 이들은 연구비 제안서에서 '신경망'이라는 말이 유행에 뒤떨어진 표현으로 취급받던 시절에도 이 접근법을 꾸준히 다듬어 나갔다. 1997년 IBM의 딥 블루(Deep Blue)가 학습이 아닌 전수 탐색(brute-force search)으로 세계 체스 챔피언 가리 카스파로프(Garry Kasparov)를 꺾은 사건은, 이 분야가 다음 시대를 위한 통계적 토대를 조용히 재건하는 와중에도 좁은 범위의 규칙 기반 기법이 여전히 실질적인 힘을 지니고 있었음을 일깨워주었다.
알렉스 크리제브스키, 일리야 수츠케버, 제프리 힌턴의 알렉스넷이 2012년 이미지넷 대회에서 압도적인 격차로 우승하며, 학계 대부분이 거의 하룻밤 사이에 딥러닝이 통한다고 확신하게 만들었다. 이어 2017년 구글 연구진의 트랜스포머 아키텍처는 이 접근법에 더 많은 데이터와 연산을 투입할수록 유난히 잘 확장되는 설계를 부여했고, 오픈AI의 GPT-3(2020년)와 챗GPT(2022년)는 같은 아키텍처를 확장할수록 수익 체감이 아니라 계속해서 새로운 능력이 나타난다는 것을 입증했다. 이는 전례 없는 자본을 등에 업고 점점 더 큰 모델을 만드는 업계 전체의 경쟁을 촉발했다.
더 이상 존재하지 않는 인접 직업들 — 흡수되거나, 자동화되거나, 규제로 사라졌다.
의사, 지질학자, 화학자 등 인간 전문가를 인터뷰하고 그들의 노하우를 MYCIN이나 XCON 같은 전문가 시스템을 위한 수천 개의 조건-결과 규칙으로 손수 옮겨 적는 전문가였다. 전문가 시스템이 유지하기에는 너무 취약하고 비용이 많이 든다는 사실이 드러나고, 통계적 머신러닝이 손으로 짠 규칙을 데이터로부터 자동으로 학습한 규칙으로 대체하면서 이 직업은 대부분 사라졌다.
딥러닝 이전에는 컴퓨터 비전이나 음성 시스템이 잘 작동하게 만드는 일이 연구자가 적절한 입력 특징을 직접 설계하는 데 달려 있었다. 이미지용 SIFT나 HOG 같은 엣지 검출기, 오디오용 켑스트럼 계수 등이 그 예로, 그 자체로 하나의 전문 기술이었다. 원시 데이터로부터 스스로 특징을 학습하는 신경망이 등장하면서 2012년 이후 불과 몇 년 만에 이런 설계 작업 대부분이 쓸모없어졌다.
심볼릭스(Symbolics)나 리스프 머신스(Lisp Machines Inc.) 같은 회사들은 AI 연구가 의존하던 리스프(Lisp) 프로그래밍 언어를 구동하도록 최적화된 전용 워크스테이션을 만들어 팔았고, 이를 설계·판매·유지보수할 엔지니어를 고용했다. 그러나 1980년대 말 저렴한 범용 워크스테이션이 순수 성능에서 이를 따라잡으면서, 리스프 머신 산업 전체가 약 2년 만에 붕괴했다. 이는 두 번째 AI 겨울을 상징하는 사건이었다.
이 역사 속의 모든 붕괴는 하나의 패턴을 공유한다. 구체적이지만 지나치게 부풀려진 약속이 예정대로 실현되지 않고, 자금 제공자들이 강하게 발을 빼고, 그러면 '인공지능'이라는 딱지가 연구비 신청서에 오히려 해가 되던 시절에도 소수의 연구자들이 계속 일한다는 것이다.
지금 이 글을 읽고 있는 사람들은 이 분야의 세 번째 대호황 한가운데에 살고 있다. 이번 호황은 어떤 하나의 새로운 아이디어가 아니라 규모의 확장 위에 세워진 것이다. 이것이 앞선 두 번의 호황과 같은 방식으로 끝날지, 아니면 이번에는 다를지는 이 프로필 전체를 관통하며 여전히 진행 중인 논쟁이다.