신경회로망의 역사적 고찰
알기 쉬운 신경망 컴퓨터 : 김명원. 방승양. 이수영. 이종호. 전홍태. 정호선. 정홍 공저, 전자신문사, 1992, Page 41~53
과학 기술의 발전은 인류의 복지 증진에 기여하여 왔다. 특히 1733년 영국의 케이 (Kay) 가 방적기의 북을 발명함으로서 시작된 산업혁명은 인류의 생활 방식을 크게 바꾸어 놓았다. 과거 200년간의 제 1차 산업혁명은 인간의 물리적 능력을 뛰어넘는 기계에 의해 힘든 일을 보다 빨리 수행할 수 있음으로 가능했으나, 현재 진행되고 있는 제 2차 산업혁명은 인간의 지적 능력을 대신하는 기계에 의존하고 있다. 예를 들면, 기존의 컴퓨터가 사람이 잘 못하는 고속ㆍ고정밀 계산을 성공적으로 수행하여 왔으나, 최근에는 음성인식ㆍ영상인식ㆍ적응제어 등 인간만이 해 온 일의 일부를 기계에게 맡기고 인간은 보다 창조적인 일에 몰두할 수 있게 하는 것이 요구된다. 컴퓨터가 인공 시각, 청각 및 촉각 장치 등으로부터 들어오는 정보를 처리하여 걷고, 말하고, 복잡한 작업을 수행하고, 전자 비서가 인간을 대신하게 되면 인류 복지는 크게 증진될 것이다.
컴퓨터 또는 기계에 지능을 부여하는 방법은 크게 2 종류로 나눌 수 있다. 즉, 목표로 하는 인간의 두뇌 등 생물학적 두뇌작용을 모방함으로써 적응학습을 통하여 스스로 지능을 축적해 가는 신경망 기법과 지능을 법칙으로 표현하여 논리구조로 프로그램하는 AI 기법이다. 언어를 배우는 과정을 예로 들면, AI 기법이 문법이라는 법칙에 의해 배우게 되는 것에 비해, 신경망 기법은 반복해서 문장을 보여 줌으로써 언어를 배우게 된다. 한 예로 NETtalk 라는 신경망은 어린이가 말을 배우는 것과 유사한 과정 (응얼응얼하는 발음에서부터 점차 명확한 발음으로 학습) 을 거쳐 책을 읽도록 학습시켰다.
신경망이 비교적 단순한 학습법칙을 정의함으로써 주위환경으로부터 스스로 지식을 축적함에 비해, AI은 구현하고자 하는 지능에 따라 구체적인 법칙을 추출해내야 하는 어려움이 있다. 복잡한 시스템의 경우 그 법칙을 추출해내는 것이 매우 어려워 AI의 성공을 제한하여 왔다. 신경망의 또 다른 특징은 소자의 대단위 병렬성이므로 하드웨어 구현에 용이한 장점이 있다.
이러한 신경망의 장점에도 불구하고, 신경망의 역사는 순조롭지 않아 한 편의 드라마를 연상시킨다. 지능형 기계의 상업화를 주도해 온 쿠르즈웨일 (Kurzweil) 이 쓴 《The Age of Intelligent Machines》(1990) 에서 인용한 한 토막의 이야기를 소개하기로 하자.
"옛날 옛적에 인지과학에게 2 명의 딸이 태어났다. 한 딸은 두뇌의 연구로부터 얻은 특징을 갖는 자연스러운 '자연' 이고, 다른 딸은 처음부터 컴퓨터의 사용과 관련된 '인공' 이었다. 두 자매는 인지의 모델을 구성하려고 노력하였으나, 각기 사용한 재료는 아주 달랐다. '자연' 은 신경세포로부터 수학적으로 정리된 (신경망으로 불리는) 모델을 구성한 반면, '인공' 은 컴퓨터 프로그램으로부터 그녀의 모델을 구성하였다.
그들의 유년기에 두 자매는 모두 성공적이었고, 다른 지식분야로부터 구혼자들이 따라 다녔다. 두 자매는 사이가 좋았었다. 그러나 1960년대 초반 과학왕국에서 일찍이 보지 못한 많은 보화를 가진 DARPA (Defence Advanced Research Projects Agency) 경이 군주로 나타나면서 두 자매의 사이는 변했다. '인공' 은 질투가 나서 DARPA 경의 연구비를 혼자 독차지하려고 굳게 결심하였다. 그러기 위해서는 '자연' 은 죽어야 했다.
'인공' 의 충실한 추종자 마빈 민스키 (Marvin Minsky) 와 시모르 페퍼트 (Seymour Papert) 두 사람이 백설공주를 살해하고 그 증명으로 그녀의 심장을 가져오는 사냥꾼의 역할을 맡아 피비린내 나는 일을 시도하였다. 그들의 무기는 단검이 아니라 보다 막강한 펜이었고, 이로부터 한 권의 책이 씌어졌다. Perceptrons 라는 이름의 이 책은, 신경망은 지성을 모델화하고자 하는 약속을 지킬 수 없고, 오직 컴퓨터 프로그램만이 이를 달성할 수 있다는 것을 증명하고자 하였다. '인공' 의 승리가 확실한 것 같았다. 실제로 다음 10년간 왕국의 모든 포상은 '인공' 의 자손에게 돌아갔는데, 그 중에서도 전문가시스템 (Expert System) 가문의 행운과 명성이 제일 높았다." "그러나 백설공주는 죽지 않았다. Minsky 와 Papert 가 세상에 증거로 제시한 것은 공주의 심장이 아니라 돼지의 심장이었다."
이 글에서 '자연' 과 백설공주는 동일인이고 신경망 연구분야를 의미하며, '인공' 은 AI 연구분야를 의미한다. DARPA 는 미국에서 많은 기초 및 응용과학연구를 지원하는 영향력 높은 기관이다. 그러면 이 이야기는 신경망 연구자가 만든 것인가? 아니다. 바로 2 명의 사냥꾼 중의 하나인 Papert의 이야기이다. 다만 시기가 1960년대가 아닌 1988년일 뿐이다.
근대 신경망에 관한 연구는 1943년 워렌 맥쿨로치 (Warren McCulloch) 와 월터 피츠 (Walter Pitts) 의 기념비적 논문인 <A logical calculus of ideas immanent in nervous activity> 로부터 시작되었다. 각 신경세포 (neuron) 의 기능은 매우 단순하나, 이들이 상호 연결됨으로써 복잡한 계산을 수행하는 신경 시스템의 기초를 마련한 이 논문에서, 현대 컴퓨터의 기반을 이루는 모든 Boolean 논리 표현은 2 진 출력을 갖는 맥클로치 - 피츠 신경세포로 구현 가능함을 보여 주었다.
우리의 두뇌 작용이 각각의 신경세포의 기능에 의한 것이 아니라, 이들이 상호간에 어떻게 연결되어 있느냐, 특히 신경세포 사이의 연결세기 (synapse) 에 의한 것이라는 연결주의 (connectionism), 즉 신경망 (neural networks) 의 연구는 1949년 심리학자 도널드 헵 (Donald Hebb) 의 가설로 새로운 계기를 맞게 된다. 헵은 《The Organization of Behavior》라는 책에서, 신경 시스템은 기존의 synapse 를 이용하여 synapse 를 스스로 재구성하며, 그 구체적 재구성 방법으로 '신경세포 A 가 계속적으로 신경세포 B 의 활성화에 기여한다면 신경세포 A 와 B 사이의 synapse 는 증가된다.' 라는 가설을 제시하였다. '헵의 학습법칙' 으로 불리우는 이 신경 시스템의 구성법칙은 이 후 많은 신경망 연구에 영향을 끼쳐, 현재 많은 신경망 모델의 학습이 이에 직접 또는 간접으로 기초하고 있다.
초기 신경망 연구는 컴퓨터 과학자 프랭크 로젠블래트 (Frank Rosenblatt) 에 의해 꽃피기 시작하였다. Rosenblatt는, 1958년 발표된 <The perceptron : a probabilistic model for information storage and organization in the brain> 이라는 논문과 1962년에 발표된 《Principles of Neurodynamics》라는 책에서, 신경세포와 유사한 단순 계산기능을 갖는 요소로 구성된 입력층과 출력층을 갖는 perceptron 이라는 신경 시스템의 모델을 제시하고, 입력과 출력 사이의 synapse 를 출력층의 자승오차가 최소가 되는 방법으로 학습시킬 수 있음을 보여 주었다. 1960년 전기공학자 버나드 위드로 (Bernard Widrow) 와 마시안 호프 (Marcian Hoff) 는 <Adaptive switching circuits> 라는 논문에서 perceptron 모델의 선형화와 유사한 위드로 - 호프 모델을 제안하였다.
이들은 패턴의 특징을 추출하여 프로그램화하지 않고서도 비교적 단순한 입력 패턴들을 분류할 수 있어 매우 큰 반향을 일으켰고, 이 후 약 10년간은 신경망 연구가 활발히 진행되었다. 전문가가 패턴의 특징을 추출하고 이를 컴퓨터에 프로그램화하는 AI 의 연구도 또한 활발하였는데, 이 때가 앞의 백설공주 자매의 유년기에 해당한다.
그러나 어린 신경망 꽃은 활짝 피기도 전에 된 서리를 맞게 된다. 1969년 Marvin Minsky 와 Seymour Papert 는 《Perceptrons》라는 책을 발표하였는데, 이 책에서 perceptron 모델이 선형분리 기능밖에 없고 많은 실제 문제를 해결하지 못한다는 것을 증명하였다. 한 예로, 2 개의 2 진 패턴을 2 개의 종류로 분류하는 문제 중 2 개가 같은 것을 한 종류 (B) 로, 다른 것을 2 번째 종류 (A) 로 분류하는 XOR 문제는 2 차원 공간에서 최소 2 개의 직선 경계가 필요하고 한 개의 직선으로 경계를 만들 수 없으므로 perceptron 문제로 해결하지 못한다.
XOR 문제
이러한 perceptron 모델의 한계성은 신경망 연구열을 급속히 냉각시키고, 향후 10여년간 지능구현의 연구가 대부분 Minsky에 의해 주도된 특징 추출과 프로그램에 의한 AI 로 흐르게 되었다. Rosenblatt는 어느 날 바다에 나가 의문의 죽음을 맞고, 신경망 연구는 암흑기를 맞게 된다. 앞의 백설공주 이야기가 더욱 흥미를 끄는 것은, 두 주인공 Rosenblatt 와 Minsky 가 당시의 명문교인 브롱크스 (Bronx) 과학고등학교의 동기동창이란 점이다.
그러나 암흑기에도 한 줌의 빛은 존재하였다. 모진 일제치하에서도 대한독립군이 활약하고, 나찌 독일 침략하에서도 프랑스 저항군 (resistance) 이 존재하였듯이, 신경망 연구는 소수의 연구자에 의해 계속 발전되어 부활을 준비하고 있었다. 미국 보스턴 대학의 스티븐 그로스버그 (Stephen Grossberg) 와 일본 동경대학의 수니치 아마리는 비선형 비분방정식을 이용한 수학적 모델화를 계속하였고, 핀란드의 코호넨 (Teuvo Kohonen) 은 최적연상변환과 자율구성 특징도 (Self Organizing Map)를 연구하였다. 일본 NHK 연구소에서 일하던 쿠니히코 후쿠시마 (현재는 오사카 대학) 는 생물학적 시각장치에 기초를 둔 Cognitron 과 Neocognitron을 연구하였다. 이들은 연구비 지원을 거의 받지 못하였고, 연구 결과를 발표할 학술지를 찾기도 어려웠다. '쓸데없는 연구' 를 한다는 동료 교수의 따가운 눈초리는 더욱 견디기 어려웠다. 그러나 그들은 어둠의 세월을 지켜냈다.
구름이 태양을 영원히 감출 수는 없는 법이다. 언젠가 구름이 걷히면 태양은 그 온화한 미소로 삼라만상을 어루만지고, 인류는 태양의 존귀함을 더욱 새롭게 느끼게 된다. 1982년 칼텍 (Cal Tech) 의 존 홉필드(John Hopfield) 는 신경망의 부활을 알리는 나팔을 불었다. 나팔소리는 크지 않았으나 삼라만상의 심금을 울려, 새로운 시대의 도래를 감지하게 되었다. 많은 뜻있는 연구자들이 새로운 시대를 준비하는 대열에 참가하여, 1980년대는 신경망의 부활기로 자리잡게 되었다.
사실 홉필드의 1982년 논문 <Neural networks and physical systems with emergent computational abilities> 나 이의 연속함수형 변형인 1984년의 논문이 학문적으로 새로운 것만은 아니다. 이들 논문이 그 전까지 수학자나 심리학자 등에 의해 이론 연구에 치우쳐 왔던 신경망 연구를 공학적 관점에서 접근할 수 있는 계기를 마련하였다는데 더 큰 의의가 있다. 그 후, 신경망은 이론뿐만이 아니고 광이나 전기적 VLSI를 이용한 하드웨어 구현, 음성인식이나 문자인식, 최적화 등 응용문제의 연구가 활발히 연구되기 시작하였다.
책을 읽도록 학습시키는 NET talk 나 음파탐지기의 반사신호로부터 기뢰와 바위를 구분해내는 표적인식 등의 성공은 신경망 분야의 대대적인 연구지원이 가능하게 되었다. 미국ㆍ유럽ㆍ일본 등 세계 각국이 신경망 분야의 대규모 과제를 추진하였는데, 미국의 경우 DARPA 의 주도하에 과학재단 (NSF), NIH 등에서도 많은 연구가 지원되고 있다.
유럽 공동체의 정보분야 과제인 ESPRIT 에서는 ANNIE (Applications of Neural Networks for Industries in Europe), Pygmalion/Galatea 등 25% 이상이 신경망 분야의 과제이며, 일본은 5 세대 컴퓨터 과제의 후속으로 신경망이 주를 이루는 신정보처리기술 (Real World Computing) 과제를 추진하고 있다. 이러한 연구 열풍은 1987년 초에 형성된 국제신경망학회 (International Neural Network Society) 가 1년만에 세계 30여개국에서 2,000명이 넘는 회원을 확보하게 하였고, 그 수는 계속 증가하고 있다. 1987년 6월 처음 개최된 전기전자공학회 (IEEE) 의 신경망 국제학술회의는 약 2,000명이 참석하고 수백 편의 논문이 발표되었다. 이 후 신경망을 위한 국제학회는 매년 3개 이상이 열려 대성황을 이루고 있다. 유럽은 1991년 별도로 유럽 신경망학회 (European Neural Network Society)를 형성하였고, 일본도 1988년에 연구회를 공식기구인 일본 신경망학회 (Japanese Neural Network Society) 로 개편하였다.
상업적 측면에서도 붐을 이루어 신경망 소프트웨어나 하드웨어를 개발하여 판매하거나, 위탁자를 위해 응용문제를 신경망을 이용해서 해결해 주는 소규모 회사들이 많이 등장하고 있다. SAIC (Scientific Applications International Corp.), HNC (Hecht-Nielson Neuro-Computer Corp.), Nestor Crop. 등이 활발한데, 이 중 Nestor Corp. 은 노벨 상 수상자인 레온 쿠퍼 (Leon Cooper) 가 동료와 투자하고 연구하는 회사로 유명하다. 또한 인텔 (Intel), 지멘스 (Siemens), 필립스 (Phillips), 도시바, NEC, 미쓰비시 등 세계적인 반도체 또는 전자회사들이 신경망 칩과 이를 이용한 시스템을 발표하고 있는데, 슈퍼컴퓨터인 Cray 2S 를 능가하는 성능을 보이는 신경망 컴퓨터도 있다.
그러면 1980넌대에 이르러 신경망이 부활하고 급성장한 이유는 무엇인가? 많은 사람들이 오차역전파 (error backpropagation) 에 의한 다층구조 perceptron (multi-layer perceptron) 의 학습방법 발견을 첫째 이유로 들고 있다. 즉, Minsky와 Papert에 의해 perceptron가 할 수 없다고 증명된 일반적인 패턴의 분류를 다층구조 perceptron가 할 수 있음이 증명되고 오차역전파 학습법칙에 의해 보여줄 수 있게 되었다. 사실 1960년대 Minsky 와 Papert 에 의해 perceptron의 가능성은 알고 있었으나, 이를 훈련시킬 수 있는 적절한 학습법칙이 알려지지 못했다.
둘째 이유는, 그 사이 급속히 발달한 컴퓨터가 대규모 시뮬레이션을 비교적 빠른 시간내에 해 줄 수 있게 된 것이다. 컴퓨터 시뮬레이션은 Rosenblatt 시대에도 신경망 모델 연구에 사용되었으나, 저장 및 계산능력이 미약하여 많은 수의 신경세포를 갖는 복잡한 시스템의 학습을 시뮬레이션할 수 없었다. 필자는 이것이 첫째 이유보다 더 중요하다고 생각하는데, 컴퓨터의 발전 없이는 학습시간이 오래 걸리기로 유명한 error backpropagation 학습법칙은 무용지물이 되기 때문이다.
셋째 이유는, 그 사이 신경생리학이 발달하여 이로부터 많은 것을 배울 수 있었기 때문이다.
넷째 이유는, VLSI 및 광학기술의 발달로, 신경망의 장점인 병렬 특성을 살리는 구현이 가능해진 것이다. 비록 벌의 지능에도 못 미치지만, 슈퍼컴퓨터를 능가하는 신경망 칩의 등장은 신경망의 연구에 큰 활력소가 된다.
다섯째 이유는, 기존의 AI 가 한계에 부딪쳤다는 데서 찾을 수 있다. 전문가 시스템이 비교적 단순한 문제에서 성공을 거두었으나, 복잡한 시스템의 경우 전문가도 자신의 판단에 필요한 법칙을 알지 못하였다. 또한 미리 추출된 법칙을 이용하는 AI 는 특수 목적을 달성할 수 있을지 몰라도, 시스템 요구사양이 바뀌면 다시 법칙을 추출하여 프로그램화하여야 하는 등 상황에 대한 적응 능력이 없고, 병렬처리가 어려웠다. 따라서 새로운 방향이 모색되었고, 적응학습 능력과 병렬구조를 갖는 신경망이 자연 부각되게 된 것이다.
한국에서 현대적 신경망이 연구되기 시작한 것은, 1986년 가을 한국과학기술원 전기 및 전자공학과에서 신경망의 광학적 구현이 연구되기 시작한 것이 처음이다. 이후 국내 연구자들의 신경망 분야로의 관심 증대와 외국에서 귀국한 연구자들로 인해 신경망 연구가 활발히 진행되어 포항공대ㆍ경북대ㆍ연세대ㆍ서울대ㆍ충남대ㆍ인하대 등 대학과 전자통신연구소ㆍ시스템 공학연구소ㆍ한국통신 연구개발단 등 연구소에서 주로 연구가 진행되고 있다. 연구분야도 신경망 모델ㆍ음성인식ㆍ문자인식ㆍ적응제어 등의 응용, VLSI 및 광학적 구현 등 전 분야에 걸쳐 있다.
1988년 여름에는 30여 명의 교수 및 연구원이 참여한 가운데 신경망 연구회가 발족하였고, 매년 정기총회에는 150명 정도가 참여하는 수준에 이르고 있다. 1990년 이후에는 한국통신학회ㆍ대한전자공학회ㆍ한국정보과학회 등 기존 학회에 신경망 관련 분야가 형성되기 시작하였고, 국제 신경망학회의 한국지부 (SIGINNS-Korea) 도 형성되어 있다.
한국의 신경망 연구는 미국이나 유럽, 일본에 비해 열세임을 인정하지 않을 수 없다. 특히 기업의 관심이 적은 것이 약점으로 되고 있다. 그러나 세계적으로 20년 정도를 신경망 연구에 몰두한 몇몇 연구자를 제외하고는 대부분이 연구경력이 짧으므로, 연구자의 연구능력 면에서는 선진국과의 격차가 비교적 적은 첨단분야이다.
1990년대는 신경망이 꽃피는 시대가 될 것으로 생각된다. 1980년대에 이미 신경망이 부활할 수 있는 여건이 갖추어졌으며, 이는 1990년대에 이르러 더욱 발전하게 될 것이다. 신경망의 목표는 인간이 하는 많은 일을 대신할 수 있는 기계를 개발하는 것이다. 이는 기계가 인간의 수준에 도달하는 영원히 불가능한 일이 생기기 전에는 끝날 수 없으며, 신경망의 연구는 영원히 완성될 수 없을 것이다. 그러나 이 과정에서 인간은 보다 자유롭고 인간다워질 것이다.