Summarize the following in points, be comprehensive and don't miss a detail: 
The Bitter Lesson
Rich Sutton
March 13, 2019
The biggest lesson that can be read from 70 years of AI research is that general methods that leverage computation are ultimately the most effective, and by a large margin. The ultimate reason for this is Moore's law, or rather its generalization of continued exponentially falling cost per unit of computation. Most AI research has been conducted as if the computation available to the agent were constant (in which case leveraging human knowledge would be one of the only ways to improve performance) but, over a slightly longer time than a typical research project, massively more computation inevitably becomes available. Seeking an improvement that makes a difference in the shorter term, researchers seek to leverage their human knowledge of the domain, but the only thing that matters in the long run is the leveraging of computation. These two need not run counter to each other, but in practice they tend to. Time spent on one is time not spent on the other. There are psychological commitments to investment in one approach or the other. And the human-knowledge approach tends to complicate methods in ways that make them less suited to taking advantage of general methods leveraging computation. There were many examples of AI researchers' belated learning of this bitter lesson, and it is instructive to review some of the most prominent.

In computer chess, the methods that defeated the world champion, Kasparov, in 1997, were based on massive, deep search. At the time, this was looked upon with dismay by the majority of computer-chess researchers who had pursued methods that leveraged human understanding of the special structure of chess. When a simpler, search-based approach with special hardware and software proved vastly more effective, these human-knowledge-based chess researchers were not good losers. They said that ``brute force" search may have won this time, but it was not a general strategy, and anyway it was not how people played chess. These researchers wanted methods based on human input to win and were disappointed when they did not.

A similar pattern of research progress was seen in computer Go, only delayed by a further 20 years. Enormous initial efforts went into avoiding search by taking advantage of human knowledge, or of the special features of the game, but all those efforts proved irrelevant, or worse, once search was applied effectively at scale. Also important was the use of learning by self play to learn a value function (as it was in many other games and even in chess, although learning did not play a big role in the 1997 program that first beat a world champion). Learning by self play, and learning in general, is like search in that it enables massive computation to be brought to bear. Search and learning are the two most important classes of techniques for utilizing massive amounts of computation in AI research. In computer Go, as in computer chess, researchers' initial effort was directed towards utilizing human understanding (so that less search was needed) and only much later was much greater success had by embracing search and learning.

In speech recognition, there was an early competition, sponsored by DARPA, in the 1970s. Entrants included a host of special methods that took advantage of human knowledge---knowledge of words, of phonemes, of the human vocal tract, etc. On the other side were newer methods that were more statistical in nature and did much more computation, based on hidden Markov models (HMMs). Again, the statistical methods won out over the human-knowledge-based methods. This led to a major change in all of natural language processing, gradually over decades, where statistics and computation came to dominate the field. The recent rise of deep learning in speech recognition is the most recent step in this consistent direction. Deep learning methods rely even less on human knowledge, and use even more computation, together with learning on huge training sets, to produce dramatically better speech recognition systems. As in the games, researchers always tried to make systems that worked the way the researchers thought their own minds worked---they tried to put that knowledge in their systems---but it proved ultimately counterproductive, and a colossal waste of researcher's time, when, through Moore's law, massive computation became available and a means was found to put it to good use.

In computer vision, there has been a similar pattern. Early methods conceived of vision as searching for edges, or generalized cylinders, or in terms of SIFT features. But today all this is discarded. Modern deep-learning neural networks use only the notions of convolution and certain kinds of invariances, and perform much better.

This is a big lesson. As a field, we still have not thoroughly learned it, as we are continuing to make the same kind of mistakes. To see this, and to effectively resist it, we have to understand the appeal of these mistakes. We have to learn the bitter lesson that building in how we think we think does not work in the long run. The bitter lesson is based on the historical observations that 1) AI researchers have often tried to build knowledge into their agents, 2) this always helps in the short term, and is personally satisfying to the researcher, but 3) in the long run it plateaus and even inhibits further progress, and 4) breakthrough progress eventually arrives by an opposing approach based on scaling computation by search and learning. The eventual success is tinged with bitterness, and often incompletely digested, because it is success over a favored, human-centric approach.

One thing that should be learned from the bitter lesson is the great power of general purpose methods, of methods that continue to scale with increased computation even as the available computation becomes very great. The two methods that seem to scale arbitrarily in this way are search and learning.

The second general point to be learned from the bitter lesson is that the actual contents of minds are tremendously, irredeemably complex; we should stop trying to find simple ways to think about the contents of minds, such as simple ways to think about space, objects, multiple agents, or symmetries. All these are part of the arbitrary, intrinsically-complex, outside world. They are not what should be built in, as their complexity is endless; instead we should build in only the meta-methods that can find and capture this arbitrary complexity. Essential to these methods is that they can find good approximations, but the search for them should be by our methods, not by us. We want AI agents that can discover like we can, not which contain what we have discovered. Building in our discoveries only makes it harder to see how the discovering process can be done.
다음 사항을 요점으로 요약하고 포괄적이며 세부 사항을 놓치지 마세요: 
쓰라린 교훈
리치 서튼
2019년 3월 13일
70년간의 AI 연구를 통해 얻을 수 있는 가장 큰 교훈은 계산을 활용하는 일반적인 방법이 궁극적으로 가장 효과적이며, 큰 차이로 가장 효과적이라는 것입니다. 그 궁극적인 이유는 무어의 법칙, 즉 계산 단위당 비용이 지속적으로 기하급수적으로 감소한다는 일반화 때문입니다. 대부분의 AI 연구는 에이전트가 사용할 수 있는 연산이 일정한 것처럼 수행되어 왔지만(이 경우 인간의 지식을 활용하는 것이 성능을 개선하는 유일한 방법 중 하나), 일반적인 연구 프로젝트보다 약간 더 오랜 시간이 지나면 필연적으로 훨씬 더 많은 연산이 가능해집니다. 연구자들은 단기간에 차이를 만들 수 있는 개선을 추구하기 위해 해당 도메인에 대한 인간의 지식을 활용하려고 하지만, 장기적으로 중요한 것은 계산의 활용뿐입니다. 이 두 가지가 서로 상반될 필요는 없지만 실제로는 상반되는 경향이 있습니다. 하나에 투자한 시간은 다른 하나에 투자하지 않은 시간입니다. 한 가지 접근 방식에 투자하는 데에는 심리적인 이유가 있습니다. 그리고 인간 지식 접근 방식은 계산을 활용하는 일반적인 방법을 활용하기에 적합하지 않은 방식으로 방법을 복잡하게 만드는 경향이 있습니다. AI 연구자들이 이 쓰라린 교훈을 뒤늦게 깨달은 사례는 많으며, 그 중 가장 눈에 띄는 몇 가지를 검토하는 것은 유익한 일입니다.

컴퓨터 체스에서 1997년 세계 챔피언 카스파로프를 이긴 방법은 방대한 심층 검색을 기반으로 했습니다. 당시 체스의 특수한 구조에 대한 인간의 이해를 활용하는 방법을 추구하던 대다수의 컴퓨터 체스 연구자들은 이 방법을 경악스럽게 바라보았습니다. 특수 하드웨어와 소프트웨어를 사용한 검색 기반의 단순한 접근 방식이 훨씬 더 효과적이라는 것이 입증되자, 인간 지식을 기반으로 한 체스 연구자들은 패배를 인정하지 않았습니다. 그들은 '무차별 대입' 검색이 이번에는 이겼을지 모르지만 일반적인 전략이 아니었고, 어쨌든 사람들이 체스를 두는 방식이 아니었다고 말했습니다. 이 연구자들은 인간의 입력에 기반한 방법이 승리하기를 원했고, 그렇지 못했을 때 실망했습니다.

컴퓨터 바둑에서도 비슷한 패턴의 연구가 진행되었지만, 20년 정도만 더 늦어졌습니다. 초기에는 인간의 지식이나 바둑의 특수한 특징을 활용하여 검색을 피하기 위해 막대한 노력을 기울였지만, 검색이 대규모로 효과적으로 적용되자 이러한 모든 노력은 무의미하거나 오히려 더 나빠지는 것으로 판명되었습니다. 또한 가치 함수를 학습하기 위해 스스로 놀이를 통한 학습을 사용하는 것도 중요했습니다(다른 많은 게임과 체스에서도 그랬지만, 1997년 세계 챔피언을 처음 이긴 프로그램에서는 학습이 큰 역할을 하지 못했습니다). 스스로 놀이를 통한 학습, 그리고 일반적인 학습은 대규모 계산이 가능하다는 점에서 검색과 유사합니다. 검색과 학습은 AI 연구에서 대량의 계산을 활용하는 가장 중요한 두 가지 기술 클래스입니다. 컴퓨터 체스에서와 마찬가지로 컴퓨터 바둑에서도 연구자들은 초기에는 인간의 이해를 활용하는 데 주력하여 검색을 덜 필요로 했고, 훨씬 후에야 검색과 학습을 도입하여 훨씬 더 큰 성공을 거두었습니다.

음성 인식 분야에서는 1970년대에 DARPA가 후원하는 초기 대회가 있었습니다. 참가자들은 인간의 지식, 즉 단어, 음소, 성대 등에 대한 지식을 활용하는 여러 가지 특별한 방법을 사용했습니다. 다른 한편에서는 숨겨진 마르코프 모델(HMM)에 기반하여 보다 통계적이고 훨씬 더 많은 계산을 수행하는 새로운 방법들이 등장했습니다. 역시 통계적 방법이 인간 지식 기반 방법보다 우세했습니다. 이로 인해 자연어 처리 분야는 수십 년에 걸쳐 점진적으로 통계와 계산이 이 분야를 지배하게 되는 큰 변화를 겪게 되었습니다. 최근 음성 인식 분야에서 딥 러닝이 부상한 것은 이러한 일관된 방향의 가장 최근 단계입니다. 딥 러닝 방식은 인간의 지식에 대한 의존도가 훨씬 낮으며, 방대한 훈련 세트에 대한 학습과 함께 훨씬 더 많은 계산을 사용하여 훨씬 더 나은 음성 인식 시스템을 만들어냅니다. 게임에서와 마찬가지로 연구자들은 항상 자신의 머리가 작동한다고 생각하는 방식으로 작동하는 시스템을 만들려고 노력했지만, 무어의 법칙을 통해 대규모 연산이 가능해졌고 이를 잘 활용할 수 있는 수단이 발견되면서 궁극적으로 비생산적이고 연구자의 시간을 엄청나게 낭비하는 것으로 판명되었습니다.

컴퓨터 비전에서도 비슷한 패턴이 있었습니다. 초기 방법에서는 비전을 가장자리 또는 일반화된 실린더를 검색하거나 SIFT 기능의 관점에서 생각했습니다. 하지만 오늘날에는 이 모든 것이 폐기되었습니다. 최신 딥러닝 신경망은 컨볼루션과 특정 종류의 불변성 개념만 사용하며 훨씬 더 나은 성능을 발휘합니다.

이것은 큰 교훈입니다. 한 분야로서 우리는 여전히 같은 종류의 실수를 계속하고 있기 때문에 완전히 배우지 못했습니다. 보기