Rich Sutton

March 13, 2019

http://www.incompleteideas.net/IncIdeas/BitterLesson.html

70년간의 AI 연구를 통해 얻을 수 있는 가장 큰 교훈은 계산을 활용하는 일반적인 방법이 궁극적으로 가장 효과적이며 큰 차이로 가장 효과적이라는 것입니다. general methods that leverage computation are ultimately the most effective, and by a large margin.

그 궁극적인 이유는 무어의 법칙, 즉 계산 단위당 비용이 지속적으로 기하급수적으로 감소한다는 일반화 때문입니다.

대부분의 AI 연구는 에이전트가 사용할 수 있는 연산이 일정한 것처럼 수행되어 왔지만(이 경우 인간의 지식을 활용하는 것이 성능을 개선하는 유일한 방법 중 하나), 일반적인 연구 프로젝트보다 약간 더 오랜 시간이 지나면 필연적으로 훨씬 더 많은 연산이 가능해집니다. 단기간에 변화를 가져올 수 있는 개선을 모색하는 연구자들은 해당 도메인에 대한 인간의 지식을 활용하려고 하지만, 장기적으로 중요한 것은 계산의 활용뿐입니다. 이 두 가지가 서로 상반될 필요는 없지만 실제로는 상반되는 경향이 있습니다. 하나에 투자한 시간은 다른 하나에 투자하지 않은 시간입니다. 한 가지 접근 방식에 투자하는 데에는 심리적인 이유가 있습니다. 그리고 인간 지식 접근 방식은 계산을 활용하는 일반적인 방법을 활용하기에 적합하지 않은 방식으로 방법을 복잡하게 만드는 경향이 있습니다. AI 연구자들이 이 쓰라린 교훈을 뒤늦게 깨달은 사례는 많으며, 그 중 가장 눈에 띄는 몇 가지를 검토하는 것은 유익한 일입니다.

컴퓨터 체스에서 1997년 세계 챔피언 카스파로프를 이긴 방법은 대규모 심층 검색에 기반했습니다. 당시 체스의 특수한 구조에 대한 인간의 이해를 활용하는 방법을 추구하던 대다수의 컴퓨터 체스 연구자들은 이 방법을 경악스럽게 바라보았습니다. 특수 하드웨어와 소프트웨어를 사용한 검색 기반의 단순한 접근 방식이 훨씬 더 효과적이라는 것이 입증되자, 인간 지식을 기반으로 한 체스 연구자들은 패배를 인정하지 않았습니다. 그들은 '무차별 대입' 검색이 이번에는 이겼을지 모르지만 일반적인 전략이 아니었고, 어쨌든 사람들이 체스를 두는 방식이 아니었다고 말했습니다. 이 연구자들은 인간의 입력에 기반한 방법이 승리하기를 원했고, 그렇지 못했을 때 실망했습니다.

컴퓨터 바둑에서도 비슷한 패턴의 연구가 진행되었지만, 20년 정도만 더 늦어졌습니다. 초기에는 인간의 지식이나 바둑의 특수한 특징을 활용하여 검색을 피하기 위해 막대한 노력을 기울였지만, 검색이 대규모로 효과적으로 적용되자 이러한 모든 노력은 무의미하거나 오히려 더 나빠지는 것으로 판명되었습니다. 또한 가치 함수를 학습하기 위해 스스로 놀이를 통한 학습을 사용하는 것도 중요했습니다(다른 많은 게임과 체스에서도 그랬지만, 1997년 세계 챔피언을 처음 이긴 프로그램에서는 학습이 큰 역할을 하지 못했습니다). 스스로 놀이를 통한 학습, 그리고 일반적인 학습은 대규모 계산이 가능하다는 점에서 검색과 유사합니다. 검색과 학습은 AI 연구에서 대량의 계산을 활용하는 데 있어 가장 중요한 두 가지 기술 클래스입니다. 컴퓨터 체스에서와 마찬가지로 컴퓨터 바둑에서도 연구자들은 초기에는 인간의 이해를 활용하는 데 집중하여 검색을 덜 필요로 했고, 훨씬 후에야 검색과 학습을 도입하여 훨씬 더 큰 성공을 거두었습니다.

음성 인식 분야에서는 1970년대에 DARPA가 후원하는 초기 경연 대회가 있었습니다. 참가자들은 인간의 지식, 즉 단어, 음소, 성대 등에 대한 지식을 활용하는 여러 가지 특별한 방법을 사용했습니다. 다른 한편에서는 숨겨진 마르코프 모델(HMM)에 기반하여 보다 통계적이고 훨씬 더 많은 계산을 수행하는 새로운 방법들이 등장했습니다. 역시 통계적 방법이 인간 지식 기반 방법보다 우세했습니다. 이로 인해 자연어 처리 분야는 수십 년에 걸쳐 점진적으로 통계와 계산이 이 분야를 지배하게 되는 큰 변화를 겪게 되었습니다. 최근 음성 인식 분야에서 딥 러닝이 부상한 것은 이러한 일관된 방향의 가장 최근 단계입니다. 딥 러닝 방식은 인간의 지식에 대한 의존도가 훨씬 낮으며, 방대한 훈련 세트에 대한 학습과 함께 더 많은 계산을 사용하여 획기적으로 향상된 음성 인식 시스템을 만들어냅니다. 게임에서와 마찬가지로 연구자들은 항상 자신의 머리가 작동한다고 생각하는 방식으로 작동하는 시스템을 만들려고 노력했지만, 무어의 법칙을 통해 대규모 연산이 가능해졌고 이를 잘 활용할 수 있는 수단이 발견되면서 궁극적으로 비생산적이고 연구자의 시간을 엄청나게 낭비하는 것으로 판명되었습니다.

컴퓨터 비전에서도 비슷한 패턴이 있었습니다. 초기 방법에서는 비전을 가장자리 또는 일반화된 실린더를 검색하거나 SIFT 기능의 관점에서 생각했습니다. 하지만 오늘날에는 이 모든 것이 폐기되었습니다. 최신 딥러닝 신경망은 컨볼루션과 특정 종류의 불변성 개념만 사용하며 훨씬 더 나은 성능을 발휘합니다.

이것은 큰 교훈입니다. 한 분야로서 우리는 여전히 같은 종류의 실수를 계속 저지르고 있기 때문에 이 교훈을 완전히 배우지 못했습니다. 이를 파악하고 효과적으로 저항하기 위해서는 이러한 실수의 매력을 이해해야 합니다. 우리는 우리가 생각하는 방식으로 구축하는 것이 장기적으로는 효과가 없다는 씁쓸한 교훈을 배워야 합니다.

이 쓰라린 교훈은

1) AI 연구자들이 종종 에이전트에 지식을 구축하려고 시도해왔고,

2) 이는 단기적으로는 항상 도움이 되고 연구자에게 개인적으로 만족감을 주지만,

3) 장기적으로는 정체되고 심지어 더 이상의 발전을 저해하며,

4) 결국 검색과 학습을 통한 계산 확장에 기반한 반대 접근 방식을 통해 획기적인 발전이 이루어졌다는 역사적 관찰에 기반합니다. 최종적인 성공은 인간 중심의 선호된 접근 방식에 대한 성공이기 때문에 씁쓸함이 묻어나고 종종 불완전하게 소화되기도 합니다.

이 쓰라린 교훈에서 배워야 할 한 가지는 범용 방법, 즉 사용 가능한 계산이 매우 커져도 계산이 증가함에 따라 계속 확장할 수 있는 방법의 강력한 힘입니다. 이러한 방식으로 임의로 확장되는 것으로 보이는 두 가지 방법은 검색과 학습입니다.

쓰라린 교훈에서 배워야 할 두 번째 일반적인 요점은 실제 마음의 내용은 엄청나게, 헤아릴 수 없을 정도로 복잡하다는 것입니다. 우리는 공간, 사물, 다중 에이전트 또는 대칭에 대해 생각하는 간단한 방법과 같이 마음의 내용을 생각하는 간단한 방법을 찾으려는 시도를 중단해야 한다는 것입니다. 이 모든 것은 본질적으로 복잡한 임의적인 외부 세계의 일부입니다. 이러한 복잡성은 끝이 없기 때문에 모든 것을 내장해야 하는 것이 아니라, 이러한 임의의 복잡성을 찾아서 포착할 수 있는 메타 메서드만 내장해야 합니다. 이러한 방법의 핵심은 좋은 근사치를 찾을 수 있다는 것이지만, 근사치를 찾는 것은 우리가 아닌 다른 사람이 해야 합니다. 우리는 우리가 발견한 것을 포함하는 것이 아니라 우리처럼 발견할 수 있는 AI 에이전트를 원합니다. 우리가 발견한 것을 포함하면 발견 프로세스가 어떻게 수행될 수 있는지 확인하기가 더 어려워질 뿐입니다.

*글이 좋아서 기계번역하고 최소한으로 교정했습니다.

머신러닝의 쓴 교훈 - The Bitter Lesson

댓글