The Bitter Lesson 번역

The Introduction of Reinforcement Learning의 저자로 유명한 Richard Sutton의 2019년 5월 13일에 올라온 AI에 대한 글을 번역해보았다. (역자: 곽동현, 윤상웅)

The Bitter Lesson

씁쓸한 교훈

---

70년간의 AI연구로부터 깨달을 수 있는 가장 큰 교훈은 바로 계산을 이용하는 일반적인 방법론이야말로 궁극적으로, 큰 격차를 두고도 가장 효율적이라는 것이다. 이에 대한 궁극적인 이유는 바로 무어의 법칙, 더 일반화해서는 유닛 당 계산 비용이 지수적으로, 꾸준히 감소하고 있기 때문이다. 대다수의 AI 연구는 agent가 사용가능한 계산자원이 일정하다는 조건에서 행해졌으나(이 경우 인간의 지식을 최대한 이용하는 것이 오직 유일한 성능 향상의 방법일 것이다.), 조금만 더 긴 시간을 두고 보면 보통의 연구 프로젝트보다 더 막대하게 큰 계산 자원이 반드시 사용 가능해진다. 단기적으로 약간의 차이를 만드는 식으로 향상을 추구하려면, 연구자는 해당 분야에 대한 인간의 지식을 최대한 이용하는 방법을 추구하게 되지만, 장기적으로는 계산을 이용하는 것만이 유일하게 의미있는 일이다. 이런 두가지 방법론이 서로 부딪힐 필요는 없지만, 실제로는 그러한 경향이 있다. 한쪽에 시간을 쓰게 되면 다른 쪽에는 시간을 쓸 수 없기 때문이다. 어느 한 쪽 방향에 투자를 하게되면 정신적으로 거기에 전념할 수 밖에 없다. 그리고 인간의 지식을 활용하는 접근법은 계산을 이용하는 일반적인 방법론과 함께 이용하기 힘든 매우 복잡한 방법론이 되어버리는 경향이 있다. AI연구자들이 뒤늦게나 이런 씁쓸한 교훈을 깨닫는 수 많은 예시들이 있고, 가장 중요한 예들을 복습해보는 것은 유익할 것이다.

1997년, 체스에서 월드 챔피언 카스파로프를 이겼던 방법은 방대하고 깊은 탐색(search)에 기초하고 있었다. 그 당시, 이것은 체스의 특별한 구조에 대한 인간의 이해를 이용해보려고 하던 대다수의 컴퓨터-체스 연구자들에게는 실망스럽게 보여졌다. 보다 단순하게, 탐색에 기반을 두고 특별한 하드웨어와 소프트웨어를 사용하는 방법들이 훨씬 더 효과적이라는 것이 입증되었을 때에도, 인간의 지식을 기반으로 체스를 연구하는 사람들은 좋게 물러나지 않았다. 그들은 "무식한(brute force)" 탐색이 이번에는 이겼지만, 이는 일반적인 전략이 아니고 어찌됐든 인간이 체스를 두는 방식은 아니라 말했다. 이 연구자들은 인간의 방식을 기초로 하는 방법들로 이기기를 원했으나 그렇지 못했고 결국엔 실망했다.

그리고 딱 20년 후, 연구 과정에서 이와 유사한 패턴이 컴퓨터 바둑에서도 나타났다. 초기의 막대한 노력이 인간의 지식이나 게임의 특별한 요소들을 활용하여 탐색을 피하기 위해 투입됐지만, 탐색이 큰 규모에 효과적으로 적용되자, 이런 방법들은 무의미하거나 더 안 좋은 것으로 드러났다. 또한 가치 함수(value function)를 학습하기 위해 자기 자신과 게임을 통해 배워나가는 것이 중요했다(다른 게임과 체스에서도 마찬가지이긴 한데, 1997년에 세계 쳄피언을 처음으로 이기는 데에는 자기 자신과 게임하는 것이 중요한 역할을 하지는 않았다). 일반적으로, 자기 자신과의 게임을 통해 배우는 것과 학습은 방대한 계산을 사용가능하게 한다는 점에서 탐색과 비슷하다. 인공지능 연구에서 탐색과 학습은 방대한 규모의 계산을 활용하는데 가장 중요한 두 가지 유형의 기술이다. 컴퓨터 체스와 마찬가지로 컴퓨터 바둑에서도, 연구자들의 초기 노력은 인간의 이해를 활용하는 것(탐색이 덜 필요하도록)이었고, 한참이 지나 탐색과 학습을 받아들이고 나서야 훨씬 더 큰 성공을 이룰 수 있었다.

음성 인식에서는 1970년대 DARPA가 후원하는 초기 경연대회가 있었다. 참가자들은 인간의 지식, 즉 단어, 음소, 인간의 성대 등의 지식을 활용하는 특별한 방법들을 포함시켰다. 다른 한 쪽에서는 본질적으로 더 통계적이었고 더 많은 계산을 하는 HMM (히든 마르코프 모델)에 기반한 새로운 방법들이 있었다. 또 다시, 통계적 방법은 인간 지식 기반 방법을 누르고 이기게 된다. 이는 자연어처리 전반에 수십년에 걸친 큰 변화를 야기하고, 결국 통계와 계산이 이 분야를 점령하게 된다. 최근 음성 인식에서 딥러닝의 등장은 이러한 일관된 방향의 가장 최신의 단계이다. 딥러닝 방법들은 인간의 지식에 훨씬 덜 의존하고, 더 많은 계산을 하고, 거대한 학습 데이터 셋을 포함하여 극적으로 향상된 음성 인식 시스템을 제공한다. 이러한 게임에서, 연구자들은 항상 연구자 자신의 마음이 작동한다고 믿는 방식으로 움직이는 시스템을 만들려고 노력해서, 그들의 시스템에 그러한 지식을 넣으려했다. 그러나 무어의 법칙(Moore's law)을 통해 방대한 계산이 가능해지고 이를 잘 활용하는 방법이 발견되었을 때, 이러한 방법들은 궁극적으로 역효과를 낳고, 연구자들의 시간은 어마어마하게 낭비된 것으로 증명되었다.

컴퓨터 비전에서도 비슷한 패턴이 있었다. 초기 방법들은 선(edge)를 찾거나, 일반화 된 실린더를 찾거나, 혹은 SIFT 피쳐에 대한 비젼을 가졌다. 그러나 오늘날 이 모든 것들은 버려졌다. 현대의 딥러닝 신경망은 오직 컨벌루션이란 개념과 특정한 종류의 불변성만 사용하고도 훨씬 더 나은 성과를 낸다.

이것은 정말 큰 교훈이다. 이 분야에서 우리는 아직도 완전히 깨닫지 못했고, 여전히 같은 종류의 실수를 반복하고 있다. 이를 알기 위해, 그리고 여기에 효과적으로 저항하기 위해서, 우리는 이 실수들이 가진 유혹을 반드시 이해해야 한다. 어떻게 우리의 생각이 길게 보면 맞지 않는지를 알려주는, 이 씁쓸한 교훈을 반드시 배워야만 한다. 씁쓸한 교훈은 역사적인 관찰에서 기초한다. 1) AI 연구자들은 종종 지식을 그들의 agent에 만들어 넣으려고 시도했다. 2) 이는 항상 단기적으로는 도움이 되었고, 연구자 개인에게는 만족할만한 수준이었다. 그러나 3) 길게 보면, 이는 정체되고 심지어 진보를 방해한다. 그리고 4) 돌파하는 과정은 결국 정반대의 접근법에서 기초한 계산량의 확장을 통한 탐색과 학습에 의해 일어난다. 궁극의 성공은 씁쓸함에 물들어 있어서, 종종 불완전하게 소화된다. 왜냐하면 이것은 사람들이 선호하는 인간-중심의 방법에 대한 승리이기 때문이다.

씁쓸한 교훈에서 배워야 할 한 가지는 일반적인 목적의 방법론, 즉 사용 가능한 계산이 매우 커짐에 따라 계속해서 확장되는 방법의 위대한 힘이다. 이렇게 마구 확장하는 것처럼 보이는 두가지 방법은 바로 탐색과 학습이다.

씁쓸한 교훈으로부터 배워야하는 두 번째는 정신의 실제 내용물은 엄청나게, 가망이 없을 정도로 복잡하다는 것이다. 우리는 정신의 내용에 대해서 단순한 방식으로 생각하는 방법을 찾는 것을 멈춰야 한다. 예를 들어 공간, 물체, 여러 행위자(agent), 혹은 대칭성에 대해서 생각하는 단순한 방법들 말이다. 이 모든 것들은 임의적이고, 본질적으로 복잡한 바깥 세상의 일부이다. 이것들의 복잡성은 끝이 없기 때문에, 정신에 처음부터 만들어져 들어있는 것이 아니다. 대신 우리는 오직 이러한 임의의 복잡성을 포착할 수 있는 메타-방법들을 만들어야 한다. 이 메타-방법들에 필수적인 것은 이것들이 좋은 어림값(approximation)을 찾을 수 있어야 한다는 것인데, 어림값의 탐색은 우리가 만든 방법에 의해서 이루어져야 하지 우리들에 의해서 이루어져서는 안 된다. 우리는 AI agent들이 우리처럼 발견할 수 있기를 원하지, 우리가 여태까지 발견했던 것들을 담고 있기를 원하지 않는다. 우리의 발견 결과물을 AI 안에 집어넣는 것은 발견의 과정이 어떻게 이루어지는지 이해하는 것을 더 어렵게 만들 뿐이다.