혼돈공학 과 신경회로망
1991년 6월 10일부터 3일간 싱가포르에서 개최된 세계 전기·전자 공학회(IEEE) 회로 및 시스템에 관한 국제 학술 대회에는 약 1,000여명이 참가하여 최근 연구에 대한 논문 발표를 하였으며, 발표된 논문 중에서 필자가 특히 관심을 가지고 토론한 분야는 동적 혼돈 시스템 (chaotic dynamic system) 에 관한 연구였으며, 특기할 만한 것은 혼돈공학을 전자공학에 응용하려고 하는 시도와 혼돈 시스템을 신경 회로망에 도입하려고 하는 연구가 일본 과학자들 사이에 활발히 진행되고 있다는 것이었다.
고대 창조론에 의하면 만물의 근원은 혼돈이었고 그것으로부터 존재나 사물이 생겨났다고 상상한다. 중국의 한 창조 설화를 보면 '양'인 한줄기 빛이 혼돈에서 튀어 나와 하늘을 쌓았으며 그러는 사이에 '음'이라는 그 나머지 무겁고 어두운 것이 대지를 이루었고 음과 양이 그 후 만물을 창조하였다고 한다.
19세기까지는 혼돈과 질서를 아무런 관계가 없는 것으로 생각했으나 한 탁월한 프랑스의 수학자이자 물리학자며 철학자인 Henri Poincaré 가 외부의 영향으로부터 단절된 상태에서만 풀리는 고전 물리학에 이의를 제기한 이래 혼돈 과학에 대한 관심을 갖게 되었다. 예를 들어 태양과 지구 또는 지구와 달과 같은 두 개의 물체에 대한 문제는 뉴턴의 공식에 의해 정확히 풀 수 있지만 세 개 이상의 물체를 다루는 문제에 있어서는 정확히 풀 수 없고 비선형적인 문제로서 어떤 궤도들은 매우 작은 섭동을 가해 주기만 해도 무질서하게 심지어는 혼돈한 양상으로 변화한다는 것이다.
혼돈이란 천체의 궤도와 같은 경우, 궤도의 이심률이나 궤도경사 같은 변수가 주어진 조건의 미미한 차이에 의해 그 결과는 예측하기 어려운 방식으로 급격히 변화하는 것을 뜻한다. 어떤 시스템이 이와 같은 혼돈 양상을 보이는 것은 이 시스템을 나타낼 수 있는 각각의 요소나 변수들이 상호 연관되어 있어서 되먹임 (feed back) 으로 서로 비선형 효과를 나타냄으로써 작은 변화라 할지라도 어떤 상황에서는 크게 증폭되어 시스템의 변화에 큰 효과를 가져 오기 때문이다.
한 예로서 마이크를 스피커에 너무 가깝게 두면 귀를 찢는 듯한 소음이 발생되는 것은 바로 되먹임 (positive feedback) 에 의한 것으로서 혼돈의 한 가지 경우가 된다. 거꾸로 먹임 (negative feedback) 은 시스템이 안정되도록 조절하는 반면, 바로 되먹임은 입력 신호가 계속 증폭되어 시스템이 불안정하게 되어 되먹임 성질에 따라 질서와 혼돈이 구분된다.
지금가지 우리가 일상생활에서 경험하고 있는 현실 세계는 주로 불규칙과 혼돈의 양상을 많이 띠고 있지만 일련의 과학자들은 이런 면을 인정하면서도 이것은 예외적인 법칙으로서 소음에 불과한 것이고, 이 혼돈은 다루기 어려운 복잡성에 기인한 것이라 하여 덮어두려 하였다. 종래의 과학에서는 모든 구조를 그 구성체의 최소 단위로 분석하여 그 구조의 전체 기능을 환원 주의적으로 설명하려 하였고 또한 모든 자연계의 법칙은 부분간의 인과 관계의 법칙에 의하여 정해지는 것으로 생각했다.
그러나 1960년대에 이르러서야 푸앵까레의 이론이 빛을 보게 되어 비선형(nonlinear), 되먹임 및 비평형에 대한 새로운 연구와 합쳐지게 되어 자연의 전체성을 들여다 보게 하는 놀라운 새 인식을 낳게 하였다. 따라서 인간의 심장의 고동이나 뇌의 신경 회로망의 연결과 같이 변동이 격심한 대상들을 이해하는데는 비선형적인 혼돈 자체에 대한 일반적인 법칙을 발견해야 하며, 이러한 법칙들은 종래의 분석적인 과학의 법칙과는 전혀 성질이 다른 전체성의 법칙들을 추구해야 한다는 것이다.
우리가 일상적으로 보는 진자들은 처음에 얼마나 큰 변위를 주었느냐에 관계 없이 결국에는 출발점인 중심점에 도달하게 된다. 이점이 마치 모든 궤적을 끌어당기는 것처럼 보이기 때문에 수학적으로는 끌리는 곳 또는 묶인점 끌게 (fixed point attractor) 라고 부른다.
심장이 거의 규칙적이어야 한다는 것은 잘 알려져 있다. 그러나 간질병자가 아닌 한 뇌는 주로 불규칙적이어야 한다. 이는 불규칙성, 즉 혼돈이 복잡한계를 낳는다는 것을 보여 주는 것이다. 이것은 결코 무질서가 아니다. 반대로 혼돈이야말로 생명과 지성을 가능하게 하는 것이라고 말하고 싶다. 뇌는 매우 불안정하여 아주 작은 효과조차도 질서를 형성할 수 있게 만들어졌다. 다른 말로 하면 뇌는 비선형적 행성위에서 비선형 진화에 의해 만들어진 비선형 산물이다. 정신분열증의 열쇠는 뇌에서 도파민이 분비되는 율이다. 어떤 도파민 임계값에서 뉴런의 작용을 촉발하는 비율이 두 개의 서로 다른 리듬으로 갈라지고 그 결과 되먹임 고리가 삐뚤어진다. 간질병의 경우 일부 뇌세포의 작용을 촉발하는 형태에서 나타나는 작은 교란은 갈래질을 일으킨다. 뇌에 있어서 혼돈은 완전히 정상적인 것이지만 지나친 질서에 의해 생긴 혼돈은 치명적이다. 즉 격렬한 질서는 무질서다.
뇌 (Brain) 의 미개척 분야는 방대한 영역이고 탐험자들은 이제 겨우 황무지를 향해 그들의 길을 가기 시작했다. 뇌 모형의 인기도는 자주 바뀌고 100년 후에는 현재의 신경 생리학 지식의 지도는 마치 16세기 세계 지도를 보는 것만큼이나 별스러울 것이다. 그러나 지도는 어느 곳에서부터든지 시작이 있어야 하고 이 지도를 그리는 사람 중 점차 많은 과학자들이 비선형적 윤곽을 가진 커다란 그림을 그리려고 시도하고 있다. 뇌에는 10의 14승 개의 시냅스 연결의 위치를 관할할 충분한 수의 유전자가 존재하지 않는다는 것은 분명하다. 태아의 뇌에서 뉴런의 위치가 유전자에 의해 사전 계획되지 않는다고 생각한다.
이러한 계의 변화를 이해하고 측정하기 위해서 각 부분이 부분으로서 독립적으로 존재하고 전체의 부분 집합으로 이루어져 있다는 환원주의 (reductionism) 를 지양화여 각 부분을 전체의 반영으로 파악하려 하고 정량적 측정에서 정성적 해석으로 주의를 환기하고자 이루어지고 있다. 이처럼 전체를 투시하려 한다는 면에서 혼돈 과학은 동양 사상과 일맥 상통한다고 할 수 있다. 미국의 물리학자 페이겔스(Pageles) 박사는 종전에는 환원주의 과학의 선진국들이 강대국이 되었지만, 앞으로는 혼돈의 과학에서 앞선 나라들이 강대국이 될 것이라 하였다. 이제 혼돈과학은 양자 역학 및 상대성 이론과 더불어 21세기의 3대 과학 혁명이 될 것이라고 말하기도 한다.