머신러닝의 역사

출처:
https://projectresearch.co.kr/2017/06/14/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9Dml%EC%9D%98-%EA%B0%84%EB%9E%B5%ED%95%9C-%EC%97%AD%EC%82%AC/

1946 – 2017

우리가 머신러닝(ML)에 깊이 관여하기 전에, 우리가 어디로 가고 있는지 알아보기 전에 우리가 어디에 있었는지 알아야합니다. 다른 역사와 다르지 않은 것처럼 보일지라도, 흥망성쇄으 기로 앞 시점에서 현재의 인기가 과장된 선전인지 아니면 거대한 패러다임의 변화인지를 우리가 직접 결정하게 될 것입니다.

위키피디아 머신러닝(ML)의 타임 라인은 베이즈의 정리의 토대를 발견 한 1763 년부터 시작합니다. 그러나 컴퓨터가 발명된 1946년인  20 세기부터 살펴 보도록 하겠습니다.

1946

컴퓨터의 발명은 인간의 역사에서 있어 불의 발명만큼 중요 할 수도 있으며, 인공지능(AI)은 같은 중요한 자리를 차지할 수있는 좋은 기회입니다. ENIAC (Electronic Numerical Integrator and Computer)는 미 육군에 의해 지어지고 헝가리인 John von Neumann에 의해 프로그래밍 할 수있게 해주는 최초의 전자 범용적인 프로그래밍 가능 컴퓨터였습니다. 그는 또한 헝가리인 동료 Edward Teller가 개발 한 H-폭탄 설계의 타당성을 검증하는 프로그램을 작성했습니다.

ENIAC

1950

언론은 ENIAC을 “자이언트 브레인 (Giant Brain)”으로 예고했으며, 이는 앨런 튜링 (Alan Turing)으로 하여금 인공지능(AI)을 감지하기 위한 이른바 튜링 테스트 ( Turing-Test) 를 설계하는데 동기가 되었습니다. 테스트를 통과하기 위해서는 사람이 컴퓨터가 아니라 다른 인간이라고 믿게해야 하는데, 아직도 통과하지 못했습니다.

튜링테스트? http://blog.naver.com/PostView.nhn?blogId=int9708&logNo=220862025369&parentCategoryNo=&categoryNo=&viewDate=&isShowPopularPosts=false&from=postView

1952

Arthur Samuel은 체커 게임 방법을 배우는 최초의 머신러닝 격인 컴퓨터 프로그램을 개발했습니다. 그의 알고리즘은 경험으로 부터 배우기 위해 발견적 탐색 메모리를 사용하였습니다. 1970 년대 중반까지 그의 프로그램은 인간과 시합하여 이기고 있었습니다.

1956

Dartmouth 워크샵에서 Marvin Minsky, John McCarthy, Claude Shannon 및 Nathan Rochester는 “Artificial Intelligence (인공지능)”라는 용어를 제안했습니다.

1958

프랭크 로젠 블랏 (Frank Rosenblatt)은 해군연구소 (US Office of Naval Research)가 시각 인식 작업을 해결하도록 위임한 최초의 인공 신경망 인 퍼셉트론(Perceptron)을 설계했습니다.

뉴욕 타임스는 퍼셉트론 (Perceptron)이  “걸고, 말하고,보고, 쓰고, 스스로 번식하여 그 존재를 인식할 수 있는 전자 컴퓨터의 배아체”라고 보도하였습니다.

마크 I  퍼셉트론 (Perceptron)

1967

Cover and Hart는 최근접 이웃 알고리즘( Nearest Neighbor algorithm) , 거대한 이정표와 컴퓨터 패턴 인식의 탄생을 기록했습니다.

KNN 분류

1974  – 1980, 인공지능(AI)의 첫번째 겨울

과대 광고로 인해 기금이 고갈되어서 진전이 거의 없었습니다.

1979

스탠포드 학생들은 장애물을 피하고 움직일 수있는 최초의 모바일 자율 로봇인 스탠포드 카트를 제작합니다.

스탠포드 장바구니 1979

1980 – 1987, 인공지능(AI)의 여름 

규칙 기반 전문가 시스템의 도입으로 기업들이 신속하게 채택하기 시작했고, 머신러닝(ML)에 대한 새로운 관심을 불러 일으켰습니다.

1981

설명 기반 학습 (EBL, Explanation-Based Learning)이 도입되었습니다. 중요도가 낮은 데이터를 삭제할 수 있도록 훈련 데이터를 분석하여 일반화 규칙을 만들었습니다.

1985 – 신경망 획기적 발전

Backpropagation 알고리즘을 로(재)발견으로 숨겨진 레이어(Hidden Layer)에 더 복잡하고 강력한 신경망를 학습 할 수있었습니다. 그 결과, 연구를 촉진하게 되었고, 뇌의 모델인 Neural Nets에 대해 모든 사람을 흥분하게 만들었습니다. 그리고 다시 한번, 과대한 광고와 꿈으로 과장 되게 되었습니다.

신경망

 

 

1987 – 1993, 인공지능(AI)의 첫번째 겨울 

신경망(Neural Network)은 좋은 이론이 부족하고 너무 과한 경향이 있어 호의적이지 않았다.

1990

머신러닝(ML)에 대한 통계적 접근 방식인 Support Vector Machine (SVM)의 신개념이 소개되었습니다.  SVM은 엄격한 수학적 분석을 위한 훌륭한 후보로써 최신의 성능을 제공하였습니다.

Support Vector Machine (SVM)

1997

IBM의 딥 블루 대 체스 그랜드 마스터 게리 카스파 로프 . 머신 승리!

IBM의 딥블루(Deep Blue) 와 체스 최우승자 Gary Kaspárov 와의 대결에서 딥블루가 승리 했습니다.

IBM의 딥블루와 체스 그랜드 마스터 Gary Kaspárov의 대결

2006 , 현재의 날, 확산 및 상업적 채택

빅데이터, 빠른 컴퓨팅, 성숙 된 신경망 모델은 머신러닝(ML)에 대한 관심을 다시 불러 일으켰습니다. 디지털 변환 , 머신러닝(ML)을 통한 빅 데이터는 경쟁우위를 위해 회사 프로세스, 제품 및 서비스에 통합됩니다.
Coursera 에서 머신러닝(ML)을 위한 신경망(Neural Network) 을 개발한 Geoffrey Hinton 은 딥러닝( Deep Learning)을 유행어로 확신시키며,더 나은 모델을 학습 할 수있는 심오한 신경망의 새로운 아키텍처를 설명하기 위해 신경망을 다시 브랜드화 했습니다.

Geoffrey Hinton – 딥러닝( Deep Learning)

2011

IBM Watson 컴퓨터가 참가자들이 자연 언어로 질문에 답하는 Jeopardy TV 프로그램에서 우승했습니다.

2012

Coursera 에서 훌륭한 머신러닝(ML) 과정을 개발한 Stanford의 Jeff Dean 과 Andrew Ng 는 Google Brain Project를 시작했습니다. 그들은 Google의 모든 인프라를 사용하여 이미지와 비디오의 패턴을 감지하는 심층신경망을 개발했습니다.

구글 브레인 프로젝트

제프리 힌튼 (Geoffrey Hinton) 팀은 성숙 단계에 이르렀고 관심을 끌고 있는 심층신경망 (DNN, Deep Neural Network)을 사용하여 큰 차이로 ImageNet 대규모 시각적 인식 챌린지 2012 (ILSVRC2012) 경연 대회에서 우승합니다. 이것을 계기로 DNN을 기반의 머신러닝(ML, Machine Learning)이 현재의 폭발로 이어집니다.

AlexNet

Google X 연구소는 16,000 대의 컴퓨터 클러스터에서 실행되는 DNN을 구축하여 YouTube의 1,000 만 개의 이미지를 기반으로 고양이를 인식했습니다.

GoogleX Cat과 Andrew Ng

2013

딥마인드(DeepMind)라는 영국의 딥러닝 스타트업은, Atari 게임에서 인간을 이길 수 있도록 Deep Reinforcement Learning 모델을 설계했습니다.

아타리 게임

2014

페이스북은 인간처럼 사람을 인식 할 수있는 DeepFace DNN을 개발합니다.

Google은 DeepMind를 인수합병 했습니다.

2015

Amazon은 Amazon Machine Learning을 출시했습니다.

Microsoft는 GPU 및 컴퓨터 클러스터에서 머신러닝(ML) 문제를 효율적으로 해결할 수 있는 프레임워크/ DMTK (Distributed Machine Learning Toolkit) 를 발표했습니다.

엘론 머스크 (Elon Musk)과 샘 알트만 (Sam Altman)은 비영리단체인 OpenAI 를 설립하여, 인공지능(AI)이 인류에 긍정적인 영향을 미치게 한다는 것을 목표로 10 억 달러를 제공했습니다.

2016

Microsoft는 자사의 오픈 소스 심층 학습 툴킷 인 Computational Network Toolkit (CNTK)을 출시했습니다 .

Google의 AlphaGo/알파고가 바둑 천재 이세돌과 시합하여 이겼습니다. 알파고의 알고리즘은 이전에는 볼 수 없었던 창조적인 수의 기보를 보여주었습니다.

2017

Google은 TensorFlow를 발표 합니다.

Microsoft는 자사의 오픈 소스 심층 학습 툴킷 인 Microsoft Cognitive Toolkit (이전 CNTK)을 출시 했습니다 .

오늘날 우리는 인공지능(AI)에서 세 번째 폭발을 경험하고 있습니다. 이것은 발대한 양의 데이터와 직면한 문제들을 완전히 새로운 효과적인 방법으로 해결 할 수 있게 해줍니다. 이는 완전히 새로운 시장을 창출하고 중소기업 및 대기업의 전략에 큰 변화를 일으키고 있습니다.

증가하는 데이터 볼륨으로 인해 과학자와 연구원을 한동안 바쁘게 할 것이며, 이들은  특이점에 도달 할 때까지 획기적인 새로운 아이디어들을 계속 떠올릴 것입니다.

제 3의 겨울이 오지 않느냐구요? 그럴 수 없습니다. 왜냐구요? 기술의 채택과 실질적인 결과가 목에 다다랐기 때문입니다.

참고문헌

• A Brief History of Machine Learning – Víctor Gonzalez
• A brief history of machine learning – Robert Colner
• Wikipedia