카오스 이론과 인지과학
과학사상24호(1998년-봄) : 김광수 ( 서울대 박사과정 · 철학 ), 범양사 출판부, Page 168~201
파스칼은 인간을 생각하는 갈대로 묘사한다. 이성의 질서에 따라 합리적으로 사유하면서 동시에 그러한 질서의 틀을 벗어나 끊임없이 흔들리는 인간 존재의 야누스적 이중성을 그는 바람에 흔들리는 갈대의 모습에 비유하고 있는 것이다. 이와 같은 인간 정신의 양면성은 전통적으로 로고스는 이성을 가진 인간이라면 누구나 따르게 되어 있는 보편적인 사고의 법칙을 말하는 것으로서, 이를테면 논리적 추론 법칙 같은 것이 그 예일 것이다. 반면 파토스는 정신에 깃든 개성적이면서도 격정적인 부분, 곧 예측할 수 없는 비합리적 부분을 가리킨다. 이러한 로고스와 파토스, 질서와 무질서의 두 얼굴 가운데서 우리는 오랫동안 로고스적 질서만이 인간 정신의 본질적 모습이라고 믿어 왔다. 반면에 파토스는 단지 정신의 예외적이고 일탈적인 요소로서만 인식하여 왔을 뿐이다. 어원적으로도 파토스라는 말에는 질병이라는 뜻이 포함되어 있음을 본다.1)
하지만 인간 정신의 파토스적 흔들림이 실제로도 그처럼 부차적이고 쓸모 없는 것은 아니다. 오히려 파토스적 흔들림은 개성이 터잡고 있는 영역이다. 파토스로 인한 예측 불가능한 흔들림 때문에 인간은 조작과 통제의 대상으로 전락하지 않고 오늘의 모습으로 남아 있는지 모른다. 더욱이나 중요한 점은 예술을 포함해 인간 활동의 많은 가치있는 부분들이 그와 같은 정신의 흔들림에 의존하고 있다는 사실이다. 예술은 대상을 기계적으로 묘사하는 활동이 아니라 그것을 창조적으로 변형하는 해석학적 활동이다. 그와 같은 창조적 변형을 위해서는 사고틀의 헐거움이 요구된다. 꽉 짜여져 옴짝달싹 못하는 기계적 사고의 틀로부터는 해석학적 상상력이 생겨날 수 없기 때문이다. 시의 경우를 예로 보아도, 시의 미학적 효과는 시어가 야기하는 암시와 연상 같은 일종의 의미론적 울림에서 비롯되고 있다. 그러므로 인간의 두뇌가 만일 자동 번역기처럼 주어진 단어의 사전적 의미만을 파악하는 기제라면, 인간에게 시의 창작이나 감상이 불가능하였을 것이다.
따라서 이렇게 볼 때, 흔들림은 인간 정신에서 예외적인 부분이라기 보다 오히려 본질 그 자체에 해당한다. 그리고 이 점에서 인간은 한치의 흔들림과 헐거움도 보이지 않는 컴퓨터와 구별될 수 있다. 인지과학에서는 그 동안 많은 연구자들이 폰노이만식 컴퓨터를 모형으로 삼아 인간의 정신 활동을 분석하고 설명하려 시도하여 왔다. 물론 폰노이만식 컴퓨터는 어떤 점에서 인간과 닮았고, 도 그런 만큼 그간의 연구에 성과가 없었던 것은 아니다. 그러나 지난 한 세대 동안의 탐구를 거친 지금에 와서 연구자들이 공통적으로 느끼고 있는 바는 컴퓨터와 인간 사이에 넘을 수 없는 장벽이 존재한다는 사실이다. 그 장벽의 정체가 다름아니라 인간 정신이 보여주는 흔들림이다.
한편 흔들림 때문에 어려움을 겪고 있는 또 다른 분야가 있다. 바로 기상학이다. 기상학은 온도, 기압, 바람 등의 변수를 고려해 기단의 이동이라든가 강우전선의 형성 같은 것을 예측하게 된다. 그런데 이런 기상의 변화가 인간의 정신 활동과 마찬가지로 질서와 무질서의 양면성을 지니고 있어서 우리를 고민하게 만든다. 분명히 기상의 변화에는 어떤 질서와 규칙성이 있다. 그런 규칙성에 근거해 우리는 태풍의 대략적 진로라든가 계절풍의 정기적 형성에 대해 예측한다. 하지만 기상의 실제 변화는 그와 같은 예측을 벗어나서 종종 엉뚱한 방향으로 진행되곤 한다. 여기에도 어떤 흔들림이 있는 것이다.
기상 예측자들은 그러한 흔들림을 극복하고 예측의 정확도를 높이고자 그 동안 많은 노력을 기울여 왔다. 그들은 예측과 실제 기상 변화의 불일치가 숨겨진 변수에 기인하는 일종의 잡음 같은 것이라고 여겨 왔다. 기상 예측을 위해 필요한 온도나 습도 같은 자료들은 불가피하게 단위 구역별로 수집될 수밖에 없는데, 이런 단위구역은 작게는 사방 수 킬로에서 넓게는 수십킬로에 이르는 광대한 지역이다. 그러다 보니 단위 구역 안에 존재하는 크고 작은 변이는 무시되기 마련이고, 이렇게 수집된 엉성한 자료를 토대로 이루어진 예측이 정확할 수는 없을 것이다. 지금까지 우리는 흔들림의 원인을 주로 이런 각도에서 진단하여 왔고, 그렇기 때문에 예측을 위한 변수를 촘촘히 설정하면 흔들림의 문제가 자연스럽게 해결될 것이라 믿어 왔다.
그러나 최근 카오스 이론이 등장하면서 그와 같은 시각에 근본적인 변화가 일어나고 있다. 카오스 이론은 기상 예측을 어렵게 하는 흔들림이 변수를 촘촘하게 설정하지 않아 생겨나는 잡음과는 본질적으로 다른 것임을 보여주고 있기 때문이다. 실제로 흔들림의 많은 부분을 기상 변화를 지배하는 계의 비선형성에서 비록되고 있다. 비선형계에서는 초기 조건의 작은 차이로 인해서도 최종 결과에서 엄청난 차이가 발생할 수 있다. 이러한 사실을 단적으로 보여주는 예가 '나비 효과' 이다. 나비 효과란 글자 그대로 한 마리의 나비가 날개를 펄럭일 때 만드는 미세한 기압 변화의 효과이다. 정상적인 계라면 그런 작은 요동의 효과는 무시될 수 있을 것이다. 하지만 비선형 계인 기상 동역 계에서는 그와 같은 작은 요동의 효과가 시간이 지남에 따라 증폭되어 나중에는 그것에 의해 한 지역에 태풍이 불어닥칠지 말지가 결정될 정도로 커다란 결과 차이를 낳는다.
여기서 한가지 의문이 생겨난다. 어떻게 그토록 초기 조건에 민감한 불안정한 기상 동역계에서 우리가 일상적으로 경험하는 근사적 규칙성과 질서가 나타날 수 있을까 하는 점이다. 이런 의문에 대해 카오스 이론의 선구자인 기상학자 로렌츠는 자신의 이름을 딴 로렌츠 끌개 (attractor) 라는 새로운 개념 도구를 통해 해답을 제시하여 준다. 그가 발견한 로렌츠 끌개는 기상 변화가 보여주는 질서와 무질서, 규칙성과 불규칙성의 양면성을 통합하는 훌륭한 설명을 제공하고 있는 것이다.
이런 이유로 우리는 기상학만이 아니라 인지과학에도 카오스 이론이 적용될 수는 없는지 검토해 볼 필요성을 느낀다. 이제까지 인지과학이 채택해 온 컴퓨터 유비 (computer analogy) 의 방법론으로는 인간 정신의 본질적 측면인 흔들림을 설명하는데 아무래도 역부족이기 때문이다. 그래서 필자는 이 글을 통해 카오스 이론이 인지과학 분야에 적용될 수 있는 가능성을 고찰하여 보려고 한다. 이와 관련하여 필자가 특히 주목하게 될 것은 최근 인지과학에서 새롭게 부각되고 있는 연결주의 패러다임이다. 필자가 보기에 연결주의 패러다임은 카오스 이론과 상당 부분 그 취지를 공유하고 있기 때문이다.
필자는 우선 2 장을 통해 카오스 이론이 무엇인지 그 개략적 윤곽을 잡아 볼 것이다. 이어지는 3 장에서는 필자가 보기로 카오스 이론과 맥을 같이하고 잇는 인지과학의 연결주의 패러다임을 그것과 경쟁관계에 놓인 계산주의 패러다임과 연관지어 살펴보겠다. 그리고 마지막 4장에서는 연결주의의 기초가 되는 신경 동역계 모형에 대해 살펴보면서, 그러한 모형을 통해 어떻게 인간 정신의 규칙성과 불규칙성이 포괄적으로 설명될 수 있는지 가능한 방안을 검토하여 보겠다.
카오스 이론은 단일 이론은 아니다. 그것은 자연계의 무질서한 현상들로부터 거시적 질서를 찾아내려는 여러 분야의 과학적 탐구들에 대한 조금은 모호한 총칭이다. 그러나 그러한 탐구들을 카오스 이론이라는 하나의 이름 아래 묶어 주는 공통적 특징이 없는 것은 아니다. 바로 자연계에 존재하는 무질서를 무질서로서 인정하고 그 무질서를 진지하게 취급한다는 점이 그것이다.2)
이제까지 과학은 세계를 질서의 공간으로 파악하여 왔다. 물론 현실의 세계는 질서의 드러남을 방해하는 잡음들로 가득 차 있다. 그러나 근대 이후의 고전 과학은 그러한 잡음들을 제거하여 현상을 이념화한다면 어떤 질서의 점근선 같은 것을 드러낼 수 있다고 믿어 왔다. 자연 질서의 이념적 점근선을 찾으려는 그와 같은 시도에서 고전 과학은 어느 정도 성공을 거두어 왔기 때문에, 그 성공 사례라 할 수 있는 현재의 탐구 주제들에만 주목하게 되면 세계는 완전히 예측 가능한 것처럼 보이게 될 것이다.
하지만 과학적 선입견으로부터 벗어나 소박한 눈길로 주위를 둘러보면 세상에는 의외로 많은 무질서 현상들이 존재한다. 바람에 날리는 깃발의 흔들림, 수도꼭지를 타고 나오는 물길의 변화, 이런 것들은 모두 과학의 예측 범위를 넘어선다. 그러므로 어떻게 보면 세계는 본래 무질서의 바다이고 질서란 그 위에 떠 있는 작은 검에 불과하다고 해야 할지 모른다 이 광대한 무질서의 바다에는 질서의 점근선 같은 것이 존재하지 않는다. 그러므로 고전 과학은 무질서의 바다를 항해하는데 큰 어려움을 겪어 왔다.
그렇지만 세계는 분명 결정론적이다. 그렇다면 도대체 어디에서 그와 같은 무질서가 비집고 들어오는 것일까? 최근의 과학자들은 자연계에 존재하는 많은 현상학적 무질서의 배후에 해당 동역계 (dynamical system) 의 비선형성 내지 초기 조건에의 민감성이 원인으로 작용하고 있음을 알 게 되었다.
자연 현상을 구성하는 변수들 간의 상호 관계는 함수를 통해 표현될 수 있다. 그러한 함수 관계는 크게 선형적 (linear) 관계와 비선형적 (nonlinear) 관계로 나누어 진다. 그 가운데 선형적 관계는 한 변수, 이를테면 입력값 x의 작은 변화가 다른 변수의 출력값 y 에 있어서도 그에 상응하는 작은 변화만을 야기하는 관계이다. 이레 비해 비 선형적 관계는 입력값 x의 작은 변화가 출력값 y에 있어서 극단적인 변화를 초래하는 관계이다.
비선형 함수의 이러한 성질을 잘 보여주는 예가 스메일의 말발굽 변환이다. 이 변환은 중국 국수를 뽑을 때처럼 평면을 계속해서 늘였다가 다시 접는 수차례의 반복적 과정으로 이루어진다. 아래 그림에서 보는 것처럼, 그렇게 늘였다가 다시 접는 n 번의 반복 과정을 거치면 최초의 평면 1 은 평면 n으로 바뀌게 된다. (그림 1) 이 변환에서 입력값 x는 평면 1 위에 놓인 한 벡터, 다시 말해 한 밀가루 분말의 상대적 위치로 잡을 수 있다. 그러면 출력값 y는 그 밀가루 분말이 최종적으로 놓이게 되는 평면 n에서의 상대적 위치가 될 것이다.
그림 1
여기서 주목할 것은 평면 1위에 두 점 a1과 a2의 변화 추이이다. 최초의 평면 1에서 a1과 a2는 매우 가까운 위치에 놓여 있다. 하지만 변환의 결과로 얻어진 마지막 평면 n에서 a1과 a2의 위치는 상당히 멀리 떨어져 있다. 앞서 국수 반죽의 비유를 계속 사용한다면, 반죽의 최초 덩어리에서 이웃해 있던 밀가루 분말 a1과 a2가 마지막 덩어리에서는 상당히 멀리 떨어져서 발견되고 있는 것이다. 말발굽 변화에서는 이처럼 최초 위치의 차이가 마지막 위치에서 커다란 차이를 낳기 때문에, 입력값 x를 a1에 대응하는 벡터로 잡을 것인지 아니면 a2에 대응하는 벡터로 잡을 것인지가 출력값 y를 예측하는데 결정적 중요성을 갖는다.
결국 이로부터 우리가 얻는 교훈은 어떤 변수 x와 y의 관계가 위의 말발굽 변환처럼 비선형적 함수 관계로 맺어져 있을 경우, 우리가 알고 있는 변수 x의 값에 일말의 오차도 없다고 확신할 수 없는 한, x의 값으로부터 y의 값을 예측하는 것이 사실상 불가능하다는 점이다. x값이 아주 작은 오차로 인해서도 y값의 예측에 커다란 차이가 생겨나기 때문이다.
그런데 불행하게도 지금까지의 탐구를 통해 자연 세계에 존재하는 많은 계들이 비선형적임이 밝혀졌다. 그래서 과학자들은 마침내 자연의 변화 가운데 아무리 정교한 모델을 구축하더라도 예측이 불가능한 부분이 있음을 인정하기 않을 수 없게 되었다. 카오스 이론은 이처럼 자연에 대한 예측 가능성의 환상이 깨어지면서 생겨난 과학의 새로운 전환을 의미한다. 일부에서는 이를 두고 고전 역학의 결정론을 깨뜨린 양자 역학, 뉴턴의 시간 공간의 개념을 깨뜨린 상대성 이론과 더불어 20세기 물리학에서 일어난 세 번째 혁명이라고까지 말한다.
그러나 카오스 이론이 단지 자연계의 엄청난 무질서를 지적하는 데 그치지 못하였을 것이다. 그렇지만 일단 카오스를 카오스로 인정하고 그것을 직접적으로 탐구하게 되자, 그 가운데서 묘한 종류의 질서가 드러나기 시작하였다.
물론 카오스의 배후에서 발견된 질서는 지금까지 과학이 추구하던 이념적 점근선의 질서와는 다른 것이었다. 그것은 불규칙한 규칙성이며, 무질서한 질서였다. 그러므로 카오스 이론가들은 자신들이 발견한 새로운 질서를 표현하기 위해서 보편 명제나 방정식 같은 전통적인 방법이 아닌 새로운 수단을 강구하여야만 했다. 그래서 주목받게 된 방법이 바로 상태 공간 (state space) 위에 그와 같은 질서를 시각적으로 표현하는 방법이다.
상태 공간이란 변수들 간의 관계를 표현하기 위한 일종의 좌표 공간을 말한다. 그 가운데 가장 간단한 것이 아래 그림과 같은 2 차원 상태 공간일 것이다. (그림 2) 아래의 그림에서 보는 것처럼, 운동 중인 진자가 취하게 되는 순간적인 상태는 추의 속도 그리고 추를 있는 줄의 각도라는 두 개의 변수로 구성된 2 차원 좌표 평면 위에서 한 점, 좀더 정확하게는 한 벡터로 표현될 수 있다.
그림 2
이러한 벡터는 시간적으로 특정한 순간의 진자 운동 상태를 보여주는 것이다. 그러므로 진자가 시각적인 연속선 상에서 보여주는 계속적인 변화 추이는 그와 같은 점들을 이은 곡선의 형태로 표현될 것이다. 그것이 앞의 그림에서 보는 원과 소용돌이 곡선이다. 즉 앞의 그림의 왼쪽에 나타나는 원 곡선은 마찰력과 공기 저항이 없다고 가정하였을 때, 진자 운동이 따르게 될 시간적 변화 추이를 보여주고 있다. 반면 오른쪽은 마찰과 저항으로 결국은 정지하게 되는 현실 세계의 진자 운동이 따르게 될 시각적 변화 추이이다.
물론 우리가 관심을 두는 변수가 이처럼 두 개인 것만은 아니다. 때로는 변수의 수가 셋이나 넷일 수도 있고 더 많을 수도 있다. 그런 경우에는 상태 공간의 차원을 확장하면 된다. 그러나 3차원 이상의 상태 공간은 아무래도 시각적으로 표상하기가 곤란하다. 그래서 어떤 경우에는 포앙카레 단면과 같이 좀더 기술적인 방법을 사용하기도 한다.
자연계의 질서 잡힌 변화들을 상태 공간을 통해 표현하게 되면, 그 변화의 궤도는 안정적인 형태의 독특한 구조를 보여준다. 물리학자들은 그런 구조들을 '끌개 (attractor)' 라는 이름으로 부르고 있다. 카오스이론 이전까지 물리학자들이 자연계에서 찾아낸 끌개는 주로 두 가지 종류의 것들이다. 하나는 이른 바 에운맴돌이 limit cycle 끌개로서, 이것은 앞서 그림의 원 곡선처럼 상태 공간에서 폐곡선 형태로 나타나게 된다. 그러므로 그 변화 추이는 일종의 주기성을 띄게 될 것이다. 또 다른 끌개인 붙박이점 (fixed point) 끌개는 앞서 소용돌이의 중앙점에서 보듯 변화의 추이가 모아지는 귀착점의 형태로 나타난다.3)
그림 3
이러한 끌개들은 그 이름에서 시사되듯이 일종의 흡인력을 지니고 있어서 상태 공간상의 변화 궤도를 유인해 자신 안에 붙잡아 두는 성질이 있다. 그러므로 끌개 주위의 상태들은 비록 그 출발점과 경로가 다르다고 해도 결국에는 끌개로 끌려들어 안정을 이루게 된다. 시계추 운동의 경우를 예로 보더라도, 처음 흔들어 줄 때는 그것의 변화 추이가 다소 불규칙하지만 곧바로 정상적 궤도로 이끌리며 안정 상태를 이루게 된다. 이와 같이 볼 때, 에운맴돌이 끌개나 붙박이점 끌개는 자연계가 지닌 질서의 얼굴이라 할 수 있다. 그것들은 현실 세계의 잡음으로부터 해방된 정연한 자연 질서의 어떤 이념적 점근선을 표현하고 있기 때문이다.
카오스 이론이 나오기 전까지 물리학자들은 자연계에 존재하는 끌개들에 앞서의 두 가지 말고 또 다른 종류가 있으리라고는 생각하지 못하였다. 하지만 카오스 이론가들은 자연계에 기묘한 (strange) 끌개라는 전혀 다른 종류의 끌개들이 존재한다는 사실을 밝혀 냈다. 그리고는 새로이 발견된 이 기묘한 끌개들을 파성추 삼아 기존 물리학의 아성을 조금씩 무너뜨려 왔다.
그렇다면 기묘한 끌개란 도대체 어떤 것인가? 지금까지 발견된 기묘한 끌개들 가운데 최초의 것은 기상학자 로렌츠가 발견한 로렌츠 끌개이다. 그러므로 여기서는 이 로렌츠 끌개를 통해 기묘한 끌개의 일반적 성질에 대해 간단히 고찰해 보기로 한다.
그림 4
로렌츠는 시간에 따라 변하는 기후의 상태를 계산해서, 그 변화 추이를 관련된 세 가지 변수인 온도, 기압, 풍향의 3 차원 상태 공간 위에 표시해 보았다. 그 결과가 다음의 그림이다. (그림 4) 이 그림에서 상태 변화의 궤도는 결코 교차하지 않는다. 만일 교차한다면 그 교차 지점부터 동일한 변화 궤도를 다시 밟게 되므로, 기후 변화는 비록 복잡하기는 하겠지만 일종의 주기가 되고 말았을 것이다. 하지만 로렌츠의 궤도는 주기에 아슬아슬하게 가까운 형태를 보이다가도 때때로 오른쪽 날개에서 왼쪽 날개로 또는 왼쪽 날개에서 오른쪽 날개로 급작스럽게 이동하는 불규칙성을 보여 준다. 이런 급작스러운 이동은 모든 카오스적 변화 궤도에서 발견되는 전형적인 특징으로서, 이것이 카오스에 대한 장기적 예측을 불가능하게 만드는 원인이 된다.
그렇지만 위의 그림에서도 드러나는 바처럼, 로렌츠의 궤도는 비록 미시적으로는 무질서하고 예측 불가능하다고 해도 거시적으로는 질서에 유사한 어떤 것을 보여주고 있다. 다시 말해 그 변화의 궤도는 이중나선의 테두리를 크게 벗어나지 않으며 커브의 곡률도 대체로 일정하게 유지되고 있다. 그렇게 때문에 그것은 끌개의 중요한 특징인 흡인력과 안정성을 어느 정도 지닌다고 볼 수 있다. 이와 같은 이유로 과학자들은 그런 종류의 궤도들에 대해서도 끌개의 자격을 부여하게 되었다. 그러나 그런 끌개와는 구별되는 이상한 것이었기에 기묘한 끌개라는 이름이 붙게 되었다.
기묘한 끌개들은 다음과 같은 두 가지 특징을 지니고 있다. 첫째로, 그것들은 틀에 박힌 불변의 질서나 규칙성을 벗어나는 독특한 자유분방함을 지니고 있다. 둘째로, 그것들은 그처럼 자유분방하면서도 상대적으로는 안정적인 고차원적 질서를 구현하고 있다. 일견 조화되기 어려워 보이는 자유와 질서의 두 가지 특징을 결합함으로써, 기묘한 끌개는 현실 세계의 카오스적 변화들에 공통적으로 나타나는 질서와 무질서, 규칙성과 불규칙성의 이중성을 통합적으로 이해할 수 있게 해 준다.
하지만 기묘한 끌개의 성질에는 한가지 미묘한 점이 있다. 기묘한 끌개의 변화 궤도는 제한된 범위를 크게 벗어나지 않으면서도 주기 궤도처럼 겹치는 일이 없고 그렇다고 유사 주기를 이루지도 않으며 무한히 뻗어 나가게 되는데 이것이 우리의 직관상 쉽게 납득되지 않기 때문이다. 그러므로 기묘한 끌개라는 것이 아직까지 그 전모가 파악되지 않은 매우 복잡한 형태의 주기 궤도일지도 모른다는 의심을 당연히 해 볼 수 있을 것이다.
이 문제와 관련하여 만델브로트의 쪽거리 fractal 이론은 그와 같은 제한된 무제한의 궤도가 어떻게 가능할 수 있는지를 훌륭한 방식으로 보여 주고 있다. 다음의 그림은 고흐의 눈송이라고 불리는 일종의 쪽거리인데, 여기서도 나타나듯이 쪽거리 도형의 둘레는 무한히 늘어나도 그 경계선은 일정한 영역의 범위를 벗어나지 않는다. 쪽거리 구조를 통해서 제한된 무제한이 구현되고 있는 셈이다.
이와 같은 쪽거리 개념은 본래 자연계의 무질서한 형태들을 분석하기 위한 도구로 고안된 것이었다. 그러나 최근의 연구 결과, 그것이 단순한 개념적 도구가 아니라 자연의 본 보습임이 차츰 드러나고 있다. 카오스 연구가들은 로렌츠 끌개 이후에 자연계로부터 갖가지 형태의 기묘한 끌개들을 찾아냈는데, 그때마다 그런 기묘한 끌개들의 구조 가운데서 카오스 뒤에 숨어 있는 고차원적인 질서의 상징적 표현물로 받아들여지게 되었다.
그림 5
세상에는 우리의 관심을 사로잡는 수많은 경이로운 현상들이 있다. 그러나 그 가운데 아마도 가장 경이롭고 신비한 현상이 인간의 정신 활동일 것이다. 지난 세기 이래 과학의 발달과 더불어 물질과 우주에 관한 비밀들은 하나 둘 그 신비의 베일을 벗었지만 정신 활동을 지배하는 원리만은 여전히 미지의 영역에 숨은 채 그 모습을 드러내지 않아 왔다.
사람들이 이 오래된 신비의 해명에 대해 희망을 품게 된 것은 1946 년 최초의 디지털 컴퓨터인 애니악 ANIAC이 등장하면서부터이다. 그와 같은 희망은 사람의 두뇌도 컴퓨터처럼 프로그램에 의해 동작되는 체계일지 모른다는 기대로부터 비롯되었다. 이런 기대는 곧이어 인공지능이라는 거창한 이름의 프로젝트를 구체화되었으며, 철학에 있어서도 계산적 기능주의의 등장을 촉진시켰다.4) 그러나 낙관적 희망과 더불어 시작된 이 두 가지의 탐구 여정 가운데, 인공 지능 프로젝트의 경우에는 지난 한 세대에 걸친 노력이 좌절되면서 그것이 최초에 내걸었던 목표인 지능의 모의를 포기해야만 하였다. 결국 오늘날 인공 지능이란 말은 글자 그대로 지능을 갖춘 컴퓨터를 만들려는 시도로 이해되기보다 컴퓨터 설계와 관련된 특수한 방법론을 가리키는 이름으로 취급되고 있다.
그러나 철학에서의 계산적 기능주의는 아직도 그 최초의 입장을 고수하고 있다. 계산주의의 기초는 우리 사고가 일종의 알고리듬에 의해 진행된다는 믿음에 있다. 계산주의자들은 인공 지능 프로젝트의 실패가 두뇌의 알고리듬을 기계적으로 구현하는데 있어서의 실패일 뿐, 두뇌가 알고리듬에 의해 작동된다는 주장 자체에 대한 반증은 아니라고 보고 있다. 그렇기 때문에 계산주의는 인공 지능 프로젝트가 현실적으로 실패하고 있는 가운데서도 살아남을 수 있었다.
이처럼 정신의 활동을 알고리듬의 실행으로 보려는 계산주의의 배후에는 사실상 세계의 질서에 대한 비카오스적 물리학의 믿음과 근본적으로 동일한 믿음이 자리잡고 있다. 그런 탓으로 계산주의는 인간의 정신 활동 가운데 규칙에서 벗어나는 측면들을 일종의 잡음 내지 오작동으로 간주하여 무시해 버린다. 하지만 비카오스적 물리학이 자연의 광범위한 카오스 앞에서 당황하는 것처럼 계산주의도 정신 활동의 광범위한 카오스 앞에서 당황하지 않을 수 없다. 여기서 정신 활동의 카오스란 곧 우리의 사고 가운데 알고리듬으로 손쉽게 표현하기 어려운 부분들이 될 것이다. 그런 부분들이 어떤 것들인지 알기 위해서는 인공 지능이 처리에 성공하지 못한 과제 영역들이 어떤 것인지 살펴보면 된다.
인공 지능이 어려움을 겪은 과제 영역들은 크게 두 가지로 대변된다. 첫째는 패턴 파악 분야이다.5) 패턴이란 무엇인가. 두뇌는 주어진 자극을 그대로 수용해 저장하는 저장고와는 다르다. 오히려 그것은 밀어닥치는 자극의 홍수 가운데서, 제한된 처리 용량을 가지고 생존에 필요한 유용한 정보들을 효율적으로 건져내기 위해, 주어진 자극들을 의미 있는 묶음들로 분류하고 그 묶음에 포함되지 않은 부수적 정보들은 곧바로 흘려 버리게 되어 있는 일종의 정보 여과 장치이다. 패턴은 그러한 여과 과정을 거쳐 얻어진 유용한 정보를 담은 자극 묶음이다. 그리고 자극들을 그와 같이 유용한 방식으로 묶어서 분류해 내는 것을 패턴의 파악이라고 한다.
패턴의 파악은 조금만 눈 여겨서 보면 인간 정신 활동의 광범위한 분야에서 발견된다. 예를 든다면 우리가 필기체 글씨들을 읽어 내는 것도 일종의 패턴 파악으로 볼 수 있다. 앞의 그림에서 보듯 손으로 쓰여진 필기체 글씨들은 그 형태에서 실로 다종 다양하다. (그림 6) 하지만 패턴 파악의 과정을 거치면서 그처럼 다양한 형태의 필기체 글씨들이 동일한 정보를 담고 있는 몇 개의 문자 패턴으로 정돈된다.
그림 6
물론 패턴 파악이 이처럼 지각 수준에서만 일어나는 것은 아니다. 개념 수준에서 보면, 여러 형태의 가구들 가운데서 이를테면 책상에 해당하는 것들을 골라내는 활동도 넓은 의미로는 '책상' 이라는 패턴의 파악 활동이다. 뿐만 아니라 더 나아가 추상적인 사고 활동으로서의 패턴 파악도 있다. 예를 들어 수준급의 예술 작품들을 그렇지 못한 작품으로부터 골라내는 일이나, 도덕적으로 옳은 행위들을 그렇지 못한 행위들로부터 구분하는 판단 활동도 사실은 작품이나 행위를 미나 선이라는 추상적 패턴으로 묶어 내는 작업의 일환으로 볼 수 있다.
그런데 문제는 대부분의 경우, 패턴의 사례들 사이에는 일종의 가족적 유사성만 존재할 뿐, 그것의 경계 구분을 가능하게 해주는 명확한 분류 기준이 존재하지 않는다는 점이다.6) 그래서 패턴을 파악하는 과정은 종종 감을 잡는다는 말로 표현되기도 한다. 그 과정이 사고가 아니라 차라리 감각에 가까워 보이기 때문이다. 어떻든 그처럼 모호한 경계를 가진 패턴들의 분류 과정을 알고리듬으로 표현한다는 것은 참으로 어려운 일로 보인다. 그렇기 때문에 계산주의는 이런 종류의 정신 활동을 설명하는 데 고전하지 않을 수 없었다.
그림 7
더욱이 패턴 파악 도중에 종종 일어나는 게슈탈트 쉬프트 현상은 계산주의를 더욱 긍지에 빠뜨린다. 잘 알려진 것처럼 게슈탈트 쉬프트 현상이란 다음과 같은 그림들을 지각할 때 겪게 되는 급작스런 지각 상태의 변화를 말하는 것이다. (그림 7) 즉 위의 그림들로부터 패턴을 파악해 낼 때, 우리의 지각은 노파에서 처녀로, 처녀에서 노파로 또는 오리에서 토끼로, 토끼에서 오리로 이유도 없이 순식간에 변해 간다. 하지만 만일 우리의 정신 활동이 컴퓨터처럼 알고리듬에 따라 진행되는 과정이라면 어떻게 동일한 자극에 대해서 그처럼 상이하고 불안정한 결과가 나올 수 있을까? 결국 게슈탈트 쉬프트 현상은 우리의 정신 활동이 컴퓨터처럼 단순한 알고리듬을 따르는 과정이 아님을 시사하고 있는 셈이다.
사실 게슈탈트 쉬프트 현상은 패턴 파악의 과정이 초기 조건에 매우 민감한 비선형적 과정임을 보여주고 있다. 즉 위와 같은 그림에서 처음 주어진 자극에 약간의 변형만 가하더라도 우리가 얻게 되는 지각은 방금 전과는 크게 달라진다. 입력되는 자극의 작은 차이가 결과적으로 얻어지는 지각 내용에서는 큰 차이를 낳게 되는 것이다. 그러므로 이런 비선형적 민감성을 고려한다면, 패턴 파악 과정은 알고리듬적 질서로 이해되기보다 오히려 물리적 카오스와 마찬가지 방식에 따라 이해되야 할 듯하다.
한편 인공 지능이 성공하지 못한 두 번째 분야는 인간의 학습을 모의하는 것이다. 여기서 학습이라는 말은 약간의 혼란을 줄 수 있다. 때때로 그 말은 단순히 정보를 수용하여 저장한다는 뜻으로 이해되기도 한다. 하지만 학습이 그런 것이라면 컴퓨터는 학습에 아무런 문제를 가지고 있지 않다. 오히려 인간 두뇌가 며칠 밤을 새우며 외워야 저장 가능한 정보를 컴퓨터는 단지 몇 초만에 간단히 저장할 수 있으므로 학습에서 컴퓨터가 인간보다 우월하다고 해야 한다.
그러나 지식이란 정보들의 단순 집적이 아니다. 그런 정보들이 일관성과 효용성을 갖추도록 짜 맞추어져 하나의 체계적 틀을 형성하였을 때 비로소 지식이 된다. 이와 같은 체계적 틀을 우리는 일반적으로 이론이라고 부른다. 그러므로 학습을 보다 분명하게 정의한다면, 경험으로부터 이론을 형성하고 또 그것을 새로운 경험에 맞춰 수정하여 가는 활동이 될 것이다. 이와 같은 학습은 우리에게 처음 마주하는 문제 상황에도 대처할 수 있는 응용력 있는 지식을 제공한다. 결국 진짜 학습은 하나를 배워 열을 아는 문일지십의 학습이라야 하는 것이다.
그렇다면 인공 지능은 왜 인간과 같은 이론 형성과 수정 활동을 보여주지 못하는 것일까? 주어진 정보로부터 이론을 형성하기 위해 인공 지능이 취할 수 있는 수단은 궁극적으로 한 가지뿐이다. 이른 바 생성-평가 알고리듬 generation-evaluation algorithm 이라는 것으로서, 먼저 다양한 후보 가설들을 만들어 내고 그 다음에 그 가설들이 주어진 정보와 부합하는지 하나하나 검토해 보는 절차가 그것이다. 그러나 이 과정에서 인공 지능이 부딪치는 어려움은 검토해야 할 후보 가설들의 수가 거의 무한 대라는 사실이다. 인간의 경우에는 상식에서 비롯되는 선이해를 갖출 수 없는 인공 지능으로서는 가설들을 추려 내는 것이 사실상 불가능하다.
한 가지 예를 들어보자. 인공 지능 연구자들은 오랫동안 인간의 자연 언어 처리를 모의하고자 노력해왔다. 그런데 자연 언어에 관련된 인간의 능력 가운데는 소위 '언어적 직관 (linguistic intuition)' 이라는 것이 있다. 이것은 간단히 말해 단어들의 조합을 듣고 그것이 말이 되는지 아닌지를 판단하는 능력이다. 이런 능력이 특별하게 주목받는 이유는 그것이 일단 습득된 다음에는 처음 보는 단어 조하에 대해서도 문법성을 판단할 수 있게 해주는 무한한 응용 범위를 갖기 때문이다. 따라서 그와 같은 직관적 능력의 배경에는 한 언어의 모든 가능한 단어 조합에 대해서 문법성을 판정하게 해주는 완전한 문법 이론이 구축되어 있으리라 추정된다.
그러나 놀라운 것은 어린아이가 을을 배울 때 그런 문법 이론을 전혀 전수 받지 않는다는 사실이다. 오히려 어린아이는 주위에서 듣는 제한된 수의 문장들로부터 스스로 문법 이론을 형성해 낸다. 따라서 인공지능이 인간의 언어 학습을 모의하고자 한다면, 어린아이와 마찬가지로 제시된 일련의 문장들을 통해 문법성의 판정기준을 스스로 형성해야 할 것이다. 그런데 문제는 그와 같은 이론의 형성을 위해 인공 지능이 취할 수 있는 수단이 후보 가설들을 만들고 그것들을 평가하는 방법 이외에는 없다는 점이다. 하지만 앞서 보았던 것처럼 후보 가설의 수가 무한한 탓으로 이런 방법은 쓸모가 없다.
이처럼 처음 이론을 형성하는 활동도 난해하지만, 사실은 그보다 더욱 해명하기 어려운 것이 새로운 경험에 따라 기존의 이론을 수정해 가는 활동이다. 즉 인간 두되는 기존의 이론과 새로운 정보가 상충될 때, 무조건 기존 이론을 포기하지는 않는다. 때로는 새로운 정보를 감각의 실수로 간주하여 무시하기도 하고, 또 실수가 아니라고 여길 경우에도 새로운 정보에 맞춰 기존의 이론을 개선하는 길은 여러 가지일 수 있다. 그러므로 새로운 정보를 받아들일 것인지 아니면 무시할 것인지, 또 받아들인다면 그에 따라 도대체 어떤 식으로 기존의 이론을 개선할 것인지, 인간 두뇌가 이런 문제들을 결정하는 과정은 알고 리듬으로는 풀어낼 수 없는 오리무중의 과정 같아 보인다.
한편 앞에서 패턴 파악과 관련하여 게슈탈트 쉬프트가 계산주의를 곤경에 빠뜨렸듯이, 이번에는 그와 유사한 패러다임 쉬프트가 계산주의의 입장을 다시 한번 난처하게 만든다. 패러다임 쉬프트란 기존의 이론을 개선해 가던 도중에 갑자기 전혀 새로운 형태의 이론으로 옮아가게 되는, 학습에 있어서의 급작스런 방향 전환 현상이다. 처음에 이 말이 쓰여지게 된 계기는 공공적인 과학 이론의 전환을 분석하기 위해서였지만, 사실은 우리 모두가 개인적으로도 이런 종류의 급격한 이론 전환을 체험하고 있다. 예를 들어 수수께끼를 푼다든가 할 때, 우리는 기존의 사고틀 가운데서 막막하기만 시야가 갑자기 탁 트여지며 새로운 해결책을 찾게 되는 그런 경험을 종종 겪는다.
심리학자들은 이러한 종류의 학습 과정을 통찰 (insight) 이라고 부른다. 통찰 학습은 그 과정이 전혀 단계적으로 진행되지 않는다는 특징을 가진다. 그러한 학습은 부분적 단서들을 취합하여 함께 비벼 대는 가운데 어느 순간 불씨가 일어나듯 갑자기 발생하게 되는 것이다. 그러므로 이와 같은 통찰 학습의 과정을 알고리듬을 통해 정식화한다는 것은 현재로서 성공을 기대하기 힘들다.
더군다나 이처럼 급격한 이론 변화를 유발하는 통찰의 단서들은 종종 매우 사소한 것들이라는 점을 기억할 필요가 있다. 이렇게 사소한 정보 때문에 커다란 개념적 수정이 이루어지는 것으로 보아, 학습의 과정 역시 비선형적인 카오스의 경로를 따르리라는 추정이 더욱 힘을 얻는다.
이상과 같이 인공지능이 어려움을 겪었던 문제들을 중심으로 계산주의의 타당성을 고찰하게 되면 그것이 지닌 매력은 크게 반감된다. 이에 대해 계산주의 쪽에서도 항변할 말이 없지는 않을 것이다. 앞에서 살펴본 사례들이 질서와 거리가 먼 것들이었다면 그와는 달리 진서에 부합하는 또다른 많은 정신 활동들이 있고, 그 분야에 있어서는 아직까지 계산주의가 유용하기 때문이다.
하지만 사실 계산주의가 지금까지 유지되어 온 데에는 그러한 이론적 강점 말고도 또 다른 요인이 있었다고 여겨진다. 다름아니라 그것을 대신할 대안이 지금까지 없었다는 이유가 바로 그것이다. 어떻게 본다면 그동안의 논의는 계산주의 패러다임을 개량하는 방식에 관한 것이었지 계산주의 자체를 포기해야 하는가에 관한 것은 아니었다. 그러나 이러한 상황도 80 년대 중반 연결주의 패러다임이 등장하게 되면서부터 달라지고 있다. 이제는 계산주의도 그 독점적 지위에 내려와 연결주의와 비교를 통해 설명력을 검증 받아야 하는 처지에 놓이게 된 것이다.
연결주의는7) 계산주의와 달리 폰노이만식 컴퓨터가 아니라 인공 신경망을 인지의 모형으로 채택한다. 연결주의가 모형으로 채택하는 인공 신경망은 대략 두 가지 점에서 기존의 폰노이만식 컴퓨터와 구별된다. 첫째로, 인공 신경망의 작동 과정에는 프로그램과 같은 미리 주어진 처리형식이 개입되지 않는다. 두 번째로, 인공 신경망의 처리 방식은 폰노이만식 컴퓨터와 달리 전체적이다. 인공 신경망에는 폰노이만식 컴퓨터의 중앙처리 장치에 해당하는 것이 존재하지 않는다. 그러므로 신경 소자 (unit) 들 간의 제한적인 상호작용이 전체적으로 종합되어 처리가 수행되는 것이다. 이렇게 중앙처리장치도 없고 미리 주어진 프로그램도 없다는 점에서, 인공 신경망의 정보 처리 방식은 다분히 민주적이라고 할 수 있다. 하지만 정치적 민주주의가 그렇듯이 인공 신경망도 효율적인 처리 구조를 형성하기 까지는 수많은 시행착오를 통해 조율되어야 한다. 이른 바 신경망의 훈련이라고도 불리는이 과정에서, 인공 신경망은 예제를 풀고 그 결과로 드러난 오차를 다시 신경 소자들 간의 연결 강도에 되먹임 (feed-back) 하는 반복적인 매개 변수의 조정 과정을 거치게 된다.
인공 신경망에 기초한 연결주의 패러다임은 그간의 짧은 시기 동안 기존의 인공 지능과 계산주의가 실패한 분야에서 괄목할 만한 성과들을 거두었다. 그 가운데 가장 눈부신 성과는 패턴 파악 분야에서 이루어졌다. 다양한 연결주의 인지 모형들이 필기체 글씨를 인식한다거나 사람의 얼굴을 알아보는 등의 과제를 성공적으로 수행해 냈다. 뿐만아니라 그것들은 고지식한 인공 지능과 달리 초보적인 형태의 학습능력도 보여주었다. 예를 들어 맥클랜드와 룸멜하르트의 87 년형 신경망 모형은 sing-sang-sung, sell-sold-sold 같은 일련의 동사 시제 변형 사례들을 예제로 삼아 학습하면서 불규칙 동사를 과거형으로 바꾸는 방법을 스스로 터득하고 있다.8) 그리하여 sink-?-sunk 나 tell-?-told 같은 배우지 않은 문제들에 대해서도 적절한 답을 내어 놓는다. 문일지십은 아니고 아마도 문구지십 정도 된다고 해야겠지만, 그래도 그 모형이 제공받은 정보를 넘어 새로운 문제의 해결로 나아가고 있다는 점만은 분명하다고 할 것이다.
하지만 아직까지 인지과학의 천하는 통일되지 않고 있다. 연결주의 인지 모형에도 취약점이 있기 때문이다. 연결주의 모형들은 인공지능이 지금까지 잘 처리해 온 과제들, 가령 방정식 풀이나 논리식의 증명 같은 과제들을 능숙하게 수행하지 못한다. 결과적으로 연결주의와 계산주의는 약점과 강점을 상호 대칭적으로 가지고 있는 셈이다. 현재로서 보면, 인간의 정신 활동 가운데 합리적이고 질서 있는 측면에 있어서는 계산주의의 설명이 그럴 듯하고 연결주의는 취약한 반면, 흔들리고 무질서한 측면에 있어서는 연결주의의 설명이 그럴 듯하고 계산주의는 취약한 상황이다.
그러므로 이들 두 패러다임 간의 우열을 비교하기 위해서는 한편으로 계산주의적 엄격함을 가지고 인간의 흔들림이 설명될 수 있는 가능성을 검토해 보고, 또 다른 한편으로 연결주의적 유연함을 가지고 인간의 합리성이 설명될 수 있는 가능성을 검토해 보아야 할 상황이다. 그 가운데 계산주의에 의해 인간의 흔들림이 설명되는 전자의 가능성은 지난 한 세대에 걸친 인공지능의 역사가 성공적이지 않았다는 점을 고려한다면 그리 크지 않음이 분명하다. 그러므로 인지과학의 설명적 통일을 위해 남은 희망은 연결주의에 의하여 인간의 합리성까지 설명되는 가능성 뿐이다.
그런데 앞에서도 언급하였던 것처럼, 연결주의 모형의 처리 과정은 신경소자들 간의 관계 양상은 비선형적이다. 따라서 연결주의적 처리 과정에서 어떤 질서가 구현되어야 한다면, 그 질서는 카오스 이론이 보여주는 기묘한 끌개의 거시적 질서일 가능성이 매우 크다. 그러므로 이 글이 제안하는 바는 인간의 합리성을 굳이 규칙적 알고리듬의 질서로 규정하기보다는 차라리 카오스적 질서의 하나로 이해하자는 것이다. 그렇게 되면 그동안 무시되어 왔던 인간 정신 활동의 흔들림까지도 포괄적으로 설명이 될 것이다. 다음 장에서는 이런 시각을 바탕에 깔고 그와 같은 카오스적 질서가 신경 동역계에서 어떤 모습으로 나타날지 살펴보기로 하겠다.
4. 신경 동역계에서의 거시적 질서
앞에서 카오스 이론가들이 자연계의 거시적 질서를 상태 공간을 통해 표현하고자 한다는 점을 지적한 바 있다. 그렇다면 정신활동의 카오스적 질서는 어떤 식으로 상태 공간을 통해 표현될 수 있을까? 우리는 아마도 다음과 같은 방식을 통해 정신 활동에 관한 상태 공간 모형을 구성해 볼 수 있을 것이다.9)
인간의 대뇌에는 대충 100 억 개 정도의 뉴론이 존재하는 것으로 알려져 있다. 우리는 그 100 억 개의 뉴론들에 일련의 순서를 부여한 다음, 각각의 뉴론에 대해서 그것이 최대한 흥분한 경우를 1 로, 전혀 흥분하지 않은 상태를 0 으로 삼아 0 과 1 사이의 실수 값으로 흥분의 정도를 표시해 줄 수 있을 것이다. 이렇게 얻어진 100 억 개의 실수 값들을 순서대로 적는다면, 이제 우리가 갖게 되는 것은 100 억 개의 뉴론들의 종합적 흥분 상태를 표시하는 다음과 같은 벡터값이다.
(N1, N2, N3. N4, N5, ········ N10000000000)
이 벡터 값은 우리의 순간적 정신 상태를 완벽하게 표현하고 있다. 물론 이 벡터 값을 상태 공간으로 표현하자면 100 억 차원의 좌표 공간이 필요하다. 하지만 일단은 이 상태의 공간을 아래와 같은 3 차원 공간으로 상상해 보자. (그림 8) 그러면 이 상태 공간의 점 하나 하나가 우리에게 가능한 각각의 정신 상태들을 의미하게 된다.
그림 8
아래의 뉴론 상태 공간에서 점들의 수는 무한한 반면 우리가 실제로 경험하는 정신 상태들의 그것보다는 훨씬 적다. 그 이유는 아마도 우리의 경험이 뉴론 상태 공간의 각 점들에 대응하는 것이 아니라, 그것을 묶은 상태 공간의 좀더 넓직하게 구획된 덩어리들에 대응하기 때문일 것이다. 물론 그렇더라도 한 덩어리의 공간 안에는 중심과 변두리가 있을 것이다. 그러므로 그에 따라 동일한 경험의 범위 안에서도 미세한 뉘앙스 차이는 여전히 있을 수 있다. 다시 말해 고통이라는 경험도 구획된 덩어리의 변두리냐 중심이냐에 따라 심한 고통과 덜 심한 고통의 뉘앙스 차이를 지니게 될 것이다.
한편 사고라는 것은 순간적 정신 상태의 시간적인 변화를 의미한다. 그러므로 사고는 뉴론 상태 공간 위의 한 점으로부터 다른 점으로의 이동 궤적이 될 것이다. 아래의 그림은 우리의 사고가 진행되는 과정을 그와 같이 상태 공간의 점들을 연결하는 곡선 궤도를 통해 표현하고 있다. 그림에서도 나타나듯, 우리는 t4 와 같은 지점에서 일종의 사고의 갈림길을 체험하게 된다. 이 순간에 얼마만큼 강력한 인과법칙이 작용하는가에 따라서 인간의 자유 의지를 둘러싼 저 기나긴 철학적 논쟁이 판가름나게 될 것이다.
그림 9
그러나 그와 같은 철학적 고려는 보류하고, 사고를 일단 두뇌에서 벌어지는 유물론적 사건이라고 전제한다면, 그런 사고의 궤도를 지배하게 되는 것은 전기적 흥분의 연쇄로 이루어진 뉴론들의 상호 작용이 될 것이다. 뉴론들의 상호 작용으로 이루어지는 이러한 계를 신경 동역계라고 부르자. 이 신경 동역계는 비선형성의 특징을 갖는다. 이제까지 알려진 바로는 뉴론들 간에 흥분이 전달되는 방식이 아래 그림에서처럼 비선형적 관계이기 때문이다. (그림 9) 즉 신호를 전하는 뉴론 1 의 흥분 정도가 약간만 변하면 그것을 받아들이는 뉴론 2 의 흥분 정도는 극적으로 변한다. 그러므로 이처럼 비선형적 계에 의해 지배되는 사고의 진행 과정은 일반적인 카오스 계의 변화가 그러하듯 경로를 예측하는 것이 불가능할 것이다.
하지만 뉴론 상태 공간에서 벌어지는 사고의 진행이 전적으로 불규칙하기만 하다면 인간의 정신 활동에서 나타나는 논리적인 질서는 설명되지 않는다. 그러므로 물리적 카오스에 거시적 질서가 존재하는 것처럼, 사고의 진행 경로에도 미시적 흔들림을 넘어선 거시적 질서가 존재할 가능성이 매우 크다. 만일 그러한 거시적 질서가 존재한다면, 그리고 그 질서가 정신 활동에 합리성을 부여한다면, 그와 같은 질서의 구축 과정은 다름 아닌 학습의 과정이 될 것이다. 요컨대 우리는 학습을 사고 진행과정의 무질서적 요소들을 순화시켜 질서 있고 효율적인 경로를 따르도록 뉴론 상태 공간에 영향을 끼치는 작업이라고 이해하여 볼 수 있는 것이다.
그렇다면 이와 같이 이해된 학습 과정에서 어떤 메커니즘을 통해 뉴론 상태 공간이 영향을 받게 되는 것일까? 뉴론들 간의 전기적 흥분 신호는 전달 과정에서 시냅스라는 일종의 강을 건너게 되어 있다. 이 시냅스의 강에서는 전기적 흥분 신호가 일단 화학적 신호로 바뀌어 전달되는데, 여기서 신호 전달의 비선형적 증감이 생겨나게 된다. 많은 연구자들은 학습의 효과가 전기적 흥분 신호가 화학적 신호로 변경되는 바로 이 과정에 개입하는 것으로 믿고 있다.
그런데 시냅스 전달 방식에 증감이 생긴다는 말은 곧 뉴론 상태 공간을 구성하는 변수들 간의 관계에 변화가 생긴다는 것을 의미한다. 따라서 그와 같은 변화는 상태 공간의 성질에도 영향을 주게 된다. 직관적으로 말하자면 그것의 효과는 상태 공간을 구부려 놓는 것과 같다. 이런 구부림은 2 차원 평면에서와 마찬가지로 다차원의 상태 공간에도 일종의 경사 gradient를 만들어 놓게 된다. 그리고 그러한 경사의 전반적 형태, 이른 바 상태 공간의 지형 (landscape) 에10) 의해서 상태 공간 곳곳에 다양한 모양의 끌개들이 생겨나게 된다. 따라서 학습을 마친 상태 공간을 2차원적으로 묘사한다면 그것은 마치 여기저기 언덕과 골짜기가 있는 골프장 같은 모습이 될 것이다. 그리고 학습은 사고의 골프공이 쓸모 있는 방식으로 굴러가도록 그와 같은 언덕과 골짜기들을 만들어 놓는 작업에 비유될 것이다. (그림 10)
그림 10
그러나 아무리 학습을 통해 사고가 타고 흘러갈 경사도를 정밀하게 만들어 놓는다고 해도 사고의 진행 과정에는 여전히 예측할 수 없는 급작스런 변화의 가능성이 남아 있다. 그러한 급작스러운 변화는 주로 두 골짜기의 경계선이 되는 능선 부근에서 일어날 것이다. 상태 공간에서 어느 한 끌개로 끌려 들어가게 되어 있는 주변 영역을 '분수계 (basin)' 라고 부른다. 그런데 이런 분수계를 구분하는 경계선 근처에서는 상태에 미세한 차이만 있어도 그 뒤의 변화 경로에 커다란 차이가 발생하게 된다. 비유적으로 설명한다면 그것은 두 골짜기의 경계를 이루는 능선에서 골프공 위치의 작은 차이가 그 뒤로 진행되는 골프공의 행로에 커다란 차이를 낳게 되는 것과 같은 것이다.
이상과 같은 설명을 두뇌가 수행하는 패턴 파악의 과정과 연관지어 생각해 보기로 하자. 뉴론 상태 공간에서 사고의 출발 장소가 어디냐하는 것은 외부의 감각 자극에 의해서 결정될 것이다. 사고의 최초 출발점은 다양할 수 있어도 그 경로가 종결되는 종착점은 그것보다는 적은 수의 몇몇 끌개들이다. 즉 패턴을 파악하기 위하여 최초로 받아들이는 자극들은 각양 각색의 것이지만, 그 각양 각색의 자극들에서 시작되는 처리 과정은 그 보다 적은 수의 패턴들로 귀착된다. 그러므로 직관적으로 묘사한다면, 패턴 파악의 과정은 외부의 자극에 의해서 상태 공간의 한 지점에 놓이게 된 사고의 골프공이 골짜기를 타고 흘러 패턴 지각이라는 최종 분자에 귀착되는 과정과 같을 것이다.
이러한 운명은 게슈탈트 쉬프트 현상을 쉽게 이해할 수 있도록 해준다. 즉 게슈탈트 쉬프트를 유발하는 상황은 외부 자극이 사고의 골프공을 두 패턴으로 골짜기 사이에 위치한 능선 위에 올려놓은 경우라고 보면 된다. 그렇게 때문에 사고의 경로는 출발점에서의 아주 작은 차이, 이를테면 시선의 초점 차이에 의해서도 이쪽 또는 저쪽으로 바뀌게 된다.
사고의 진행 과정이 상태 공간을 모형화되는 것처럼, 학습의 진행 과정도 상태 공간을 통해서 모형화가 가능하다. 학습은 궁극적으로 뉴런들을 연결하는 시냅스들의 중계 방식 변화에 의해서 일어난다. 그러므로 학습에 관한 동역학적 모형은 앞서 뉴런들의 상태 공간을 만들었던 것과 같은 방법으로 시냅스들의 상태 공간을 만들면 된다. ( 인간의 경우 시냅스의 수는 대략 10 조 정도라고 한다. 그러므로 시냅스의 상태 공간은 누런 상태 공간의 100 억 차원 보다 훨씬 많은 장장 10 조 차원을 가져야 한다. 우리로서는 상상이 불가능한 공간이다. 하지만 그것의 위상 변화적 특성은 3 차원 공간을 통해서도 유비적으로 파악될 수 있으므로 일단 머리 속으로는 3 차원 공간을 생각하면 될 것이다) 이때 변수가 되는 각 시냅스들의 상태가 그것이 맺어 주고 있는 두 뉴런들 간의 상관 관계 정도인 이른 바 연결 강도 (connection strength) 에 의해서 표현된다. 연결 강도라는 것은 시냅스가 한쪽 뉴런의 흥분을 다른 쪽 뉴런에게 어느 정도 직접적으로 매개하는지 그 정도를 수치화한 것이다.
그림 11
이런 절차를 거쳐 얻어진 것이 아래와 같은 시냅스 상태 공간이다. (그림 11) 여기서 상태 공간의 각 점들은 한 두뇌가 어떤 시점에서 가지고 있는 시냅스들 전체의 연결 강도 조합을 표현하고 다다. 이런 시냅스들의 연결 강도 조합이란 바로 두뇌가 외부에서 받는 정도를 처리하는 방식이다. 따라서 이것은 한 두뇌가 세계를 이해하기 위해 확보하고 있는 이론을 표현한다고 볼 수 있다. 그러므로 학습을 두뇌가 확보하고 있는 이론의 변화라고 한다면, 그런 이론 변화로서의 학습은 아래와 같은 시냅스 상태 공간의 한 점으로부터 다른 점으로의 이동 궤도로 표현될 수 있을 것이다.
앞서 뉴런 상태 공간의 경우에는 사고의 진행 궤도에 질서를 부여하는 것이 학습이었다. 그렇다면 학습이 이루어지는 시냅스 상태 공간에서는 무엇이 그와 같은 질서를 부여하게 될까? 이 문제를 고찰하기 위해서는 우선 우리의 두뇌가 궁극적으로 생물학적 생존을 위한 도구라는 사실을 기억할 필요가 있다. 두뇌가 그와 같이 생존을 위한 도구라면, 두뇌에서 벌어지는 변화는 유기체의 생존 확률을 높이는 방향으로의 변화이어야 할 것이다. 그런데 두뇌가 유기체의 생존을 위해 담당하는 역할 가운데 가장 중요한 것을 바로 외부 환경에 대한 정확한 파악이다. 그러므로 대체로 본다면, 두뇌에서 벌어지는 학습이라는 변화는 외부 환경을 좀더 정확히 표상하는 방향으로 이루어지게 될 것이다.
유기체가 두뇌를 가지고 표상한 외부 환경과 실제로 존재하는 외부 환경 간의 차이를 일단 거칠 게 실수율이라고 불러 보자. 한 유기체의 두뇌가 높은 실수율을 나타낸다면, 그 유기체는 환경을 잘못 파악한 탓으로 생존의 도상에서 많은 어려움과 고통을 겪게 된다. 다시 말해 그 유기체는 생존의 필요성에 의해 실수율을 낮추도록 끊임없이 압력을 받게 된다. 그러므로 이와 같은 압력이 시냅스 상태 공간에 영향력을 행사하여 결국에는 그것을 어떤 질서를 부여하게 되리라는 가정은 설득력을 갖는다.
물론 어린아이가 태어날 때 최초로 가지고 있는 두뇌 시냅스의 상태도 전적으로 무질서하지는 않을 것이다. 오랜 시간 걸친 진화의 영향력이 어린아이의 두뇌에 이미 어떤 질서를 부여해 놓았을 것이기 때문이다. 이런 시각은 오랜 논란의 주제였던 이성의 생득성 문제에 관해 새로운 조망을 줄 수 있다.
그림 12
한편 이론의 변화를 이처럼 시냅스 상태 공간에서의 이동으로 이해하게 되면, 앞서 계산주의 모형으로는 설명할 수 없었던 패러다임 쉬프트 현상의 설명도 가능해진다. 즉 신경 동역계 모형에 따르자면, 학습 과정은 이론의 변화가 생존의 압력에 의해 실수율을 낮추는 방향으로 이동해 가는 과정이다. 직관적으로 묘사한다면 그 과정은 아래 그림처럼 이론이라는 공이 산 위에서 경사를 타고 아래로 흘러 내려오는 과정이 된다. (그림 12) 하지만 산자락을 타고 내려오는 공이 중간 중간 놓여진 분자에 갇혀 움직이지 못하는 것처럼, 때론 이론의 변화도 정체의 분자에 빠질 수 있다. 그러나 여기에 요동이 닥치면 이론의 변화는 정체의 분지를 넘어 새로운 인식의 지평을 향해 나아가게 된다. 아마도 이러한 새로운 인식 지평의 개시가 우리에게는 패러다임 쉬프트 현상으로 체험되는 듯 보인다.
그러나 그림에서 보듯, 이론 변화가 빠지게 되는 정체의 분지는 부분적으로 보아선 실수를 줄이는 최선의 선택이다. 따라서 요동이 없다면 어떤 합리적 개선을 시도를 통해서도 이론은 정체의 분지를 탈출하지 못하게 되어 있다. 결국 인식의 계속된 진보를 위해서는 이론 변화의 과정에 적절한 요동이 필요한 셈이다.
여기서 우리는 이론 변화 과정에 개입하는 그와 같은 요동을 사고의 경로에 포함된 카오스적 흔들림의 결과로 생각해 볼 수 있을 것이다. 앞서의 설명에 따른다면, 사고는 신경 동역계의 순간 상태가 상태 공간의 끌개로 끌려드는 과정이다. 그리고 학습은 그런 끌개의 길을 유기체의 생존을 의해 최선의 것이 되도록 조절해 주는 과정이다. 따라서 학습이라는 과정에 요동이 생기기 위해서는, 사고의 경로 자체에 학습을 통해 완전히 고정되지 않는 흔들림의 부분이 있어야 한다. 다시 말해, 학습을 통해 만들어진 사고의 궤도가 마치 기차 레일처럼 유연성이 전혀 없는 길이라면, 그런 궤도를 최적화하는 과정인 학습에 있어서도 흔들림의 여지는 없어진다. 하지만 학습이 만들어 내는 사고의 궤도가 기묘한 끌개처럼 어느 정도 불규칙성을 허용하는 것이라면, 그런 사고의 흔들림을 보정하기 위해 계속적으로 학습이 일어나게 될 것이다.
최근 신경 생리학자들은 두뇌 뉴론 체계의 카오스적 거동에 대한 증거들을 하나 둘씩 발견하고 있다. 그러나 사실 심장박동 주기와 같은 다른 많은 신체 변화들에 있어서는 이미 일찍부터 카오스의 특징들이 보고되어 왔다. 이와 같은 생물학적 카오스의 역할은 유기체의 적응 기제에 안정성과 더불어 상황 변화에 대처할 수 있는 적절한 융통성을 제공하기 위한 것이라고 알려져 있다. 그렇지만 정신의 카오스도 마찬가지 역할을 할 것이다. 즉 정신의 카오스에 의해 한편으로 우리 사고의 합리성이 견지되면서도 다른 한편 늘 고정 관념을 넘어서는 새로운 생각들이 만들어지는 것으로 보인다.
이상과 같이 우리는 사고와 학습에 대한 신경 동역계 모형을 살펴보았다. 아울러서 그런 신경 동역계 모형을 통해 어떻게 사고와 학습에 관련된 정신 활동의 규칙성과 불규칙성이 설명될 수 있는지도 살펴보았다. 이로부터 우리가 얻게 되는 결론은 인간의 정신을 해명하기 위해 동역학적 모형에 보다 많은 주의를 기울여야 한다는 점일 것이다. 인간 정신은 계산주의적 인공 지능 모형이 가정하는 틀에 박힌 합리성을 넘어서기 때문이다. 필자로서는 인지과학에서 새롭게 대두되고 있는 연결주의 패러다임이 그와 같은 방향을 향한 올바른 움직임이라고 믿고 있다. 그렇게 때문에 정신의 신비에 사로잡힌 필자의 마음은 지금도 연결주의라는 이름의 끌개를 향해 자꾸만 끌려 들어가고 있다.
< 주 >
1) 병리학을 의미하는 영어 단어 'pathology'에서도 이런 흔적을 발견할 수 있다.
2) 여기서 말하는 무질서나 카오스는 존재론적 개념이 아니라 인식론적 개념이다. 즉 그러한 현상들이 실제로는 결정론적 법칙을 따르지 만, 그 변화를 예측하는 것이 인식론적으로 불가능하다는 뜻에서 무질서하다고 말해지는 것이다. 그래서 자연 과학에서 논의되는 카오스 를 결정론적 카오스 deterministic chaos라고 부르기도 한다.
3) 이들 두 가지 끌개 외에도 두 개의 주기가 무리비로 결합하여 이루어진 준주기 형태의 끌개가 있다. 그러나 이 준주기 quasi-periodic 끌개는 그 궤도를 예측할 수 있다는 점에서 주기 궤도인 에운맴돌이에 준하여 이해된다.
4) 여기서 '계산'은 영어 'computation' 의 역어이다. 이같은 의미의 계산은 본질적으로 튜링 머신으로 구현될 수 있는 모든 조작을 말한 다. 연결주의의 인공 신경망은 그 작동 과정에서 아날로그 형태의 입력을 받는다. 그러므로 그것의 작동은 튜링 머신의 계산 개념을 벗어 난다. 하지만 현재의 아날로그 기술로는 오작동의 확률이 높아 아직까지 실용성을 갖춘 인공 신경망이 사용되지는 못하고 있다. 대신 대 부분의 경우 고속 컴퓨터를 통하여 연결주의의 아날로그 처리를 이산시간 방식으로 시뮬레이션하고 있는 실정이다. 그러나 본래 연결주 의 처리라고 하면 아날로그 처리를 염두해 두고 생각해야 하므로 계산주의 방식과는 엄밀히 구분될 것이다.
5) 패턴 파악은 좀더 엄밀히 나누면 패턴 인식과 패턴 분류로 구분된다. 이 가운데 패턴 인식은 지각 수준에서 일어나는 것이고 패턴 분류 는 사고와 판단 수준에서 일어나는 것이다. 하지만 그 두 과정의 배후에 놓인 기제는 근본적으로 동일하고, 그런 점에서 여기서는 둘을 구분하지 않고 패턴 파악으로 부를 것이다.
6) 가족적 유사성이란 철학자 비트겐슈타인의 용어로, 비슷하기는 한데 그것들의 외연을 결정하는 기준을 딱부러지게 제시할 수 없는 두 루뭉실한 개념의 성질을 말한다. 정식화하자면, 유전자에 비교되는 요소들 a, b, c, d, f 가 있다고 할 때, 이 요소들의 결합 [a, b, c], [b, c, d], [c, d, e ], [d, e, f ], [f, a, b] 같은 것들이 가족 유사성을 보이게 된다. 이것들은 서로 서로 유사하기는 하지만 외연 을 확정할 본 질적 특징을 정할 수 없다.
7) ' 연결주의 ' 란 말은 본래 분산 병렬 처리의 다양한 기법들 가운데 한 방식의 이름이었다. 그러나 '연결' 이라는 말이 갖는 개시적이고 함축적인 의미로 인하여 현재 인지 과학에서는 신경망 모형에 의해 인간 정신 활동을 설명하고자 하는 새로운 연구 패러다임을 통칭하는 용어로 사용되고 있다.
8) 보다 자세한 내용은 참고서적으로 제시된 Parallel Distributed Processing. Vol.2, pp. 216 ~ 271 참조.
9) 뉴론 상태 공간을 구성하는 방식에 대한 이하의 설명은《카타스트로피 이론 입문》(김용운 지음) pp. 179 ~ 185 에 제시된 바를 따랐 다.
10) 상태 공간의 각 점에는 그 상태의 안정 정도를 나타내는 열역학적 에너지 값을 부여할 수 있다. 상태의 변화는 보다 안정도가 높은 쪽으 로 이동하는데, 그런 점에서 열역학적 에너지 값은 지도 위의 각 지점에 부여되는 고도값에 비유될 수 있다. 따라서 지도상의 등고선을 따라 골짜기와 등성이가 나타나듯, 상태 공간에서도 열역학적 에너지 값의 분포에 따라 일종의 지형이 생겨나게 될 것이다.
<참고문헌>
1. 이안 스튜처트, <하나님은 주사위 놀이를 하는가?>, 법양사 출판부.
2. 존 브리그즈 · 데이비드 피트, <혼돈의 과학>, 법양사 출판부.
3. 김용운, <카타스트로피 이론 입문>, 우성사.
4. 제임스 글리크, <카오스>, 동문사.
5. 이바스 피터슨, <진리의 섬>, 웅진출판부.
6. 소흥렬, <자연주의적 유신론>, 소나무.
7. 김영정 · 김정오 · 소흥렬 · 이정모 외, <인지과학 : 마음, 언어, 계산>, 민음사.
8. 하인즈 페이글즈, <이성의 꿈>, 법양사 출판부.
9. 이인식, <사람과 컴퓨터>, 까치.
10. 폴 처치랜드, <물질과 의식>, 서광사.
11. 공용현, <계산주의의 철학적 함축>, 서강대 철학박사 학위논문.
12. Paul M. Chirchland, A Neurocomputional Perspective : The Nature of Mind and the Structure of Science, MIT Press (1989).
13. W. Bechtel and A. Abrahamsen, Connectionism and rhe Mind , Basil Blackwell (1991).
14. P. Smolensky, <On the Proper Treatment of Connectionism>, in Behavioral and Brain Science, 11 (1988).
15. James L. McClland, David E. Rumelhart and the PDP Research Group. Parallel Distributed Processing, MIT Press (1987).