신경망의 역사
컴퓨터 또는 기계에 지능을 부여하는 방법은 크게 2 종류로 나눌 수 있다. 즉, 목표로 하는 인간의 두뇌 등 생물학적 두뇌작용을 모방함으로써 적응학습을 통하여 스스로 지능을 축적해 가는 신경망 기법과 지능을 법칙으로 표현하여 논리구조로 프로그램하는 AI 기법이다. 언어를 배우는 과정을 예로 들면, AI 기법이 문법이라는 법칙에 의해 배우게 되는 것에 비해, 신경망 기법은 반복해서 문장을 보여 줌으로써 언어를 배우게 된다. 한 예로 NETtalk 라는 신경망은 어린이가 말을 배우는 것과 유사한 과정 (응얼응얼하는 발음에서부터 점차 명확한 발음으로 학습) 을 거쳐 책을 읽도록 학습시켰다........
신경망의 유년기
근대 신경망에 관한 연구는 1943년 워렌 맥쿨로치 (Warren McCulloch) 와 월터 피츠 (Walter Pitts) 의 기념비적 논문인 <A logical calculus of ideas immanent in nervous activity> 로부터 시작되었다. 각 신경세포 (neuron) 의 기능은 매우 단순하나, 이들이 상호 연결됨으로써 복잡한 계산을 수행하는 신경 시스템의 기초를 마련한 이 논문에서, 현대 컴퓨터의 기반을 이루는 모든 Boolean 논리 표현은 2 진 출력을 갖는 맥클로치 - 피츠 신경세포로 구현 가능함을 보여 주었다.
우리의 두뇌 작용이 각각의 신경세포의 기능에 의한 것이 아니라, 이들이 상호간에 어떻게 연결되어 있느냐, 특히 신경세포 사이의 연결세기 (synapse) 에 의한 것이라는 연결주의 (connectionism), 즉 신경망 (neural networks) 의 연구는 1949년 심리학자 도널드 헵 (Donald Hebb) 의 가설로 새로운 계기를 맞게 된다. 헵은 《The Organization of Behavior》라는 책에서, 신경 시스템은 기존의 synapse 를 이용하여 synapse 를 스스로 재구성하며, 그 구체적 재구성 방법으로 '신경세포 A 가 계속적으로 신경세포 B 의 활성화에 기여한다면 신경세포 A 와 B 사이의 synapse 는 증가된다.' 라는 가설을 제시하였다. '헵의 학습법칙' 으로 불리우는 이 신경 시스템의 구성법칙은 이 후 많은 신경망 연구에 영향을 끼쳐, 현재 많은 신경망 모델의 학습이 이에 직접 또는 간접으로 기초하고 있다.
초기 신경망 연구는 컴퓨터 과학자 프랭크 로젠블래트 (Frank Rosenblatt) 에 의해 꽃피기 시작하였다. Rosenblatt는, 1958년 발표된 <The perceptron : a probabilistic model for information storage and organization in the brain> 이라는 논문과 1962년에 발표된 《Principles of Neurodynamics》라는 책에서, 신경세포와 유사한 단순 계산기능을 갖는 요소로 구성된 입력층과 출력층을 갖는 perceptron 이라는 신경 시스템의 모델을 제시하고, 입력과 출력 사이의 synapse 를 출력층의 제곱오차가 최소가 되는 방법으로 학습시킬 수 있음을 보여 주었다. 1960년 전기공학자 버나드 위드로 (Bernard Widrow) 와 마시안 호프 (Marcian Hoff) 는 <Adaptive switching circuits> 라는 논문에서 perceptron 모델의 선형화와 유사한 위드로 - 호프 모델을 제안하였다.
이들은 패턴의 특징을 추출하여 프로그램화하지 않고서도 비교적 단순한 입력 패턴들을 분류할 수 있어 매우 큰 반향을 일으켰고, 이 후 약 10년간은 신경망 연구가 활발히 진행되었다. 전문가가 패턴의 특징을 추출하고 이를 컴퓨터에 프로그램화하는 AI 의 연구도 또한 활발하였다.
신경망의 암흑기
그러나 어린 신경망 꽃은 활짝 피기도 전에 된 서리를 맞게 된다. 1969년 Marvin Minsky 와 Seymour Papert 는 《Perceptrons》라는 책을 발표하였는데, 이 책에서 perceptron 모델이 선형분리 기능밖에 없고 많은 실제 문제를 해결하지 못한다는 것을 증명하였다. 한 예로, 2 개의 2 진 패턴을 2 개의 종류로 분류하는 문제 중 2 개가 같은 것을 한 종류 (B) 로, 다른 것을 2 번째 종류 (A) 로 분류하는 XOR 문제는 2 차원 공간에서 최소 2 개의 직선 경계가 필요하고 한 개의 직선으로 경계를 만들 수 없으므로 perceptron 문제로 해결하지 못한다.
XOR 문제
이러한 perceptron 모델의 한계성은 신경망 연구열을 급속히 냉각시키고, 향후 10여년간 지능구현의 연구가 대부분 Minsky에 의해 주도된 특징 추출과 프로그램에 의한 AI 로 흐르게 되었다. Rosenblatt는 어느 날 바다에 나가 의문의 죽음을 맞고, 신경망 연구는 암흑기를 맞게 된다. 앞의 백설공주 이야기가 더욱 흥미를 끄는 것은, 두 주인공 Rosenblatt 와 Minsky 가 당시의 명문교인 브롱크스 (Bronx) 과학고등학교의 동기동창이란 점이다.
그러나 암흑기에도 한 줌의 빛은 존재하였다. 신경망 연구는 소수의 연구자에 의해 계속 발전되어 부활을 준비하고 있었다. 미국 보스턴 대학의 스티븐 그로스버그 (Stephen Grossberg) 와 일본 동경대학의 수니치 아마리는 비선형 비분방정식을 이용한 수학적 모델화를 계속하였고, 핀란드의 코호넨 (Teuvo Kohonen) 은 최적연상변환과 자율구성 특징도 (Self Organizing Map)를 연구하였다. 일본 NHK 연구소에서 일하던 쿠니히코 후쿠시마 (현재는 오사카 대학) 는 생물학적 시각장치에 기초를 둔 Cognitron 과 Neocognitron을 연구하였다. 이들은 연구비 지원을 거의 받지 못하였고, 연구 결과를 발표할 학술지를 찾기도 어려웠다. '쓸데없는 연구' 를 한다는 동료 교수의 따가운 눈초리는 더욱 견디기 어려웠다. 그러나 그들은 어둠의 세월을 지켜냈다.
신경망의 부활기
1982년 칼텍 (Cal Tech) 의 존 홉필드(John Hopfield) 는 신경망의 부활을 알리는 나팔을 불었다. 많은 뜻있는 연구자들이 새로운 시대를 준비하는 대열에 참가하여, 1980년대는 신경망의 부활기로 자리잡게 되었다.
사실 홉필드의 1982년 논문 <Neural networks and physical systems with emergent computational abilities> 나 이의 연속함수형 변형인 1984년의 논문이 학문적으로 새로운 것만은 아니다. 이들 논문이 그 전까지 수학자나 심리학자 등에 의해 이론 연구에 치우쳐 왔던 신경망 연구를 공학적 관점에서 접근할 수 있는 계기를 마련하였다는데 더 큰 의의가 있다. 그 후, 신경망은 이론뿐만이 아니고 광이나 전기적 VLSI를 이용한 하드웨어 구현, 음성인식이나 문자인식, 최적화 등 응용문제의 연구가 활발히 연구되기 시작하였다.
책을 읽도록 학습시키는 NETtalk 나 음파탐지기의 반사신호로부터 기뢰와 바위를 구분해내는 표적인식 등의 성공은 신경망 분야의 대대적인 연구지원이 가능하게 되었다. 미국ㆍ유럽ㆍ일본 등 세계 각국이 신경망 분야의 대규모 과제를 추진하였는데, 미국의 경우 DARPA 의 주도하에 과학재단 (NSF), NIH 등에서도 많은 연구가 지원되고 있다.
유럽 공동체의 정보분야 과제인 ESPRIT 에서는 ANNIE (Applications of Neural Networks for Industries in Europe), Pygmalion/Galatea 등 25% 이상이 신경망 분야의 과제이며, 일본은 5 세대 컴퓨터 과제의 후속으로 신경망이 주를 이루는 신정보처리기술 (Real World Computing) 과제를 추진하고 있다. 이러한 연구 열풍은 1987년 초에 형성된 국제신경망학회 (International Neural Network Society) 가 1년만에 세계 30여개국에서 2,000명이 넘는 회원을 확보하게 하였고, 그 수는 계속 증가하고 있다. 1987년 6월 처음 개최된 전기전자공학회 (IEEE) 의 신경망 국제학술회의는 약 2,000명이 참석하고 수백 편의 논문이 발표되었다. 이 후 신경망을 위한 국제학회는 매년 3개 이상이 열려 대성황을 이루고 있다. 유럽은 1991년 별도로 유럽 신경망학회 (European Neural Network Society)를 형성하였고, 일본도 1988년에 연구회를 공식기구인 일본 신경망학회 (Japanese Neural Network Society) 로 개편하였다.
상업적 측면에서도 붐을 이루어 신경망 소프트웨어나 하드웨어를 개발하여 판매하거나, 위탁자를 위해 응용문제를 신경망을 이용해서 해결해 주는 소규모 회사들이 많이 등장하고 있다. SAIC (Scientific Applications International Corp.), HNC (Hecht-Nielson Neuro-Computer Corp.), Nestor Crop. 등이 활발한데, 이 중 Nestor Corp. 은 노벨 상 수상자인 레온 쿠퍼 (Leon Cooper) 가 동료와 투자하고 연구하는 회사로 유명하다. 또한 인텔 (Intel), 지멘스 (Siemens), 필립스 (Phillips), 도시바, NEC, 미쓰비시 등 세계적인 반도체 또는 전자회사들이 신경망 칩과 이를 이용한 시스템을 발표하고 있는데, 슈퍼컴퓨터인 Cray 2S 를 능가하는 성능을 보이는 신경망 컴퓨터도 있다.
그러면 1980넌대에 이르러 신경망이 부활하고 급성장한 이유는 무엇인가? 많은 사람들이 오차역전파 (error backpropagation) 에 의한 다층구조 perceptron (multi-layer perceptron) 의 학습방법 발견을 첫째 이유로 들고 있다. 즉, Minsky와 Papert에 의해 perceptron가 할 수 없다고 증명된 일반적인 패턴의 분류를 다층구조 perceptron가 할 수 있음이 증명되고 오차역전파 학습법칙에 의해 보여줄 수 있게 되었다. 사실 1960년대 Minsky 와 Papert 에 의해 perceptron의 가능성은 알고 있었으나, 이를 훈련시킬 수 있는 적절한 학습법칙이 알려지지 못했다.
둘째 이유는, 그 사이 급속히 발달한 컴퓨터가 대규모 시뮬레이션을 비교적 빠른 시간내에 해 줄 수 있게 된 것이다. 컴퓨터 시뮬레이션은 Rosenblatt 시대에도 신경망 모델 연구에 사용되었으나, 저장 및 계산능력이 미약하여 많은 수의 신경세포를 갖는 복잡한 시스템의 학습을 시뮬레이션할 수 없었다. 필자는 이것이 첫째 이유보다 더 중요하다고 생각하는데, 컴퓨터의 발전 없이는 학습시간이 오래 걸리기로 유명한 error backpropagation 학습법칙은 무용지물이 되기 때문이다.
셋째 이유는, 그 사이 신경생리학이 발달하여 이로부터 많은 것을 배울 수 있었기 때문이다. 넷째 이유는, VLSI 및 광학기술의 발달로, 신경망의 장점인 병렬 특성을 살리는 구현이 가능해진 것이다. 비록 벌의 지능에도 못 미치지만, 슈퍼컴퓨터를 능가하는 신경망 칩의 등장은 신경망의 연구에 큰 활력소가 된다.
다섯째 이유는, 기존의 AI 가 한계에 부딪쳤다는 데서 찾을 수 있다. 전문가 시스템이 비교적 단순한 문제에서 성공을 거두었으나, 복잡한 시스템의 경우 전문가도 자신의 판단에 필요한 법칙을 알지 못하였다. 또한 미리 추출된 법칙을 이용하는 AI 는 특수 목적을 달성할 수 있을지 몰라도, 시스템 요구사양이 바뀌면 다시 법칙을 추출하여 프로그램화하여야 하는 등 상황에 대한 적응 능력이 없고, 병렬처리가 어려웠다. 따라서 새로운 방향이 모색되었고, 적응학습 능력과 병렬구조를 갖는 신경망이 자연 부각되게 된 것이다.
한국의 신경망
한국에서 현대적 신경망이 연구되기 시작한 것은, 1986년 가을 한국과학기술원 전기 및 전자공학과에서 신경망의 광학적 구현이 연구되기 시작한 것이 처음이다. 이후 국내 연구자들의 신경망 분야로의 관심 증대와 외국에서 귀국한 연구자들로 인해 신경망 연구가 활발히 진행되어 포항공대ㆍ경북대ㆍ연세대ㆍ서울대ㆍ충남대ㆍ인하대 등 대학과 전자통신연구소ㆍ시스템 공학연구소ㆍ한국통신 연구개발단 등 연구소에서 주로 연구가 진행되고 있다. 연구분야도 신경망 모델ㆍ음성인식ㆍ문자인식ㆍ적응제어 등의 응용, VLSI 및 광학적 구현 등 전 분야에 걸쳐 있다.
1988년 여름에는 30여 명의 교수 및 연구원이 참여한 가운데 신경망 연구회가 발족하였고, 매년 정기총회에는 150명 정도가 참여하는 수준에 이르고 있다. 1990년 이후에는 한국통신학회ㆍ대한전자공학회ㆍ한국정보과학회 등 기존 학회에 신경망 관련 분야가 형성되기 시작하였고, 국제 신경망학회의 한국지부 (SIGINNS-Korea) 도 형성되어 있다.
한국의 신경망 연구는 미국이나 유럽, 일본에 비해 열세임을 인정하지 않을 수 없다. 특히 기업의 관심이 적은 것이 약점으로 되고 있다. 그러나 세계적으로 20년 정도를 신경망 연구에 몰두한 몇몇 연구자를 제외하고는 대부분이 연구경력이 짧으므로, 연구자의 연구능력 면에서는 선진국과의 격차가 비교적 적은 첨단분야이다. ............ (신경망의 역사적 고찰 : KAIST 뇌과학연구센타 이수영)
A Brief History of Connectionism : David A. Medler. " Connectionism -- within cognitive science -- is a theory of information processing. Unlike classical systems which use explicit, often logical, rules arranged in an hierarchy to manipulate symbols in a serial manner, however, connectionist systems rely on parallel processing of sub-symbols, using statistical properties instead of logical rules to transform information. Connectionists base their models upon the known neurophysiology of the brain and attempt to incorporate those functional properties thought to be required for cognition. ... The processing units may refer to neurons, mathematical functions, or even demons la Selfridge."