카오스와 복잡성
프랙탈과 카오스의 세계 : 김용운.김용국 저서, 도서출판 우성(308-0163), 1998, Page 155~162
보통 사람이라면 규칙적으로 나란히 그어진 선의 패턴을 복잡하다고 하지 않는다. 주기적인 도형의 나열은 이미 우리들 지식 안에 데이터로서 존재하기 때문이다. 그러면, 바둑판 위에 바둑알을 쏟아붓는 무질서한 상태는? 역설이지만 무질서한 것은「아무런 규칙성을 찾아낼 수 없다」는 간단한 규칙이 있다. 따라서, 이와같은 것은 복잡하다고 하지 않고 단지「여기저기에 점이 분포되어 있다」고 본다. 이 무질서를 좀더 과학적으로 표현하면, 그것을 만들어내는 방법이 통계적으로 단순하다는 것이다.
한편, 카오스는 어떤 법칙이 어느 현상을 이끌고 있다. 그러나, 규칙이 있는 듯이 보이면서도 어디에도 그같은 것은 없고, 그 구조는 우리들이 알고 있는 규칙적인 패턴만으로는 충분히 파악할 수가 없다. 카오스의 복잡성은 바로 이러한 점에 있다.
우리의 지식 안에 저장된 어떤 자료, 다시 말해서 이미 기억 속에 정착되어 있는 지식이나 규칙 같은 것을 찾아낼 때, 질서를 발견했다고 한다. 곧 해결의 '실마리를 잡았다' 고 한다.
흔히 여행을 떠나기 전에 누구나 목적지의 지도나 여행 안내서 등, 여행지에 대한 여러 정보를 모으게 되는데, 그 이유는 그 곳에 관한 정보를 미리 기억장치에 저장시킴으로써 앞으로 일어날 복잡성을 해결할 실마리를 미리 찾기 위해서이다. 처음 방문한 도시를 걸으면 매우 복잡하게 느낄 때가 많다. 뇌의 기억을 담당하는 부위에 그 도시의 공간 지도가 전혀 형성되어 있지 않기 때문이다. 그러나, 두 번 세 번 방문하는 동안, 뇌의 부위에는 거리에 늘어선 집들이며, 거리에 대한 공간 지도가 형성되므로 복잡함을 느끼지 않게 된다.
어른이 단순하다고 보는 것을 아이는 복잡하다고 본다. 정보가 미리 뇌속에 없을 때는 아무런 대책도 강구할 수 없기 때문이다. 그래서「정보가 없는 인간은 책임질 수가 없다」(얀 카리존) 는 말을 하게 하였다.
핵자기공명화상(MRI)이라는 장치로 뇌를 관찰해 보면, 어린이가 컴퓨터 게임을 처음 할 때는 뇌의 대부분의 신경이 분주하게 활동한다. 그러다가 게임에 익숙해지면 뇌신경의 대부분은 쉬고, 어느 한부분 (그 게임을 담당하는 부위), 즉 손가락의 움직임을 제어하는 전두엽의 운동중추에서만 산소와 포도당을 소비하면서 활동하는 것을 볼 수 있다.
우리가 느끼는 복잡성의 정도는 대부분 뇌세포가 혼란스럽게 활동하는 정도와 일치한다. 마치 돌연한 비상상태가 발생할 때, 모든 조직원이 일사불란하세 움직이다가 어느 정도 사태를 수습하면, 필요한 요원만 남겨두고 나머지는 철수하는 상황과 비슷하다. 그것은 사태에 대응하기 위해 각각 상황에 따라 스스로 조직을 편성하는 자기조직이 발생하기 때문이다. 이와같이 모든 시스템은 발전적인 자기조직의 과정을 거쳐서 '비상사태'를 줄여 간다. 복잡성을 과학적으로 처리하는 방법은 이와같은 구도 내에서 이루어진다. 그 결과
'구조를 파악하면 복잡한 것을 단순화할 수 있다.'
는 생각을 낳았다.
복잡한 대상을 과학적으로 정리하기 위해서는 우선 정량화되어야 한다. 즉, 복잡한 정도를 측정해서 이것을 수치로 나타낼 수 있어야 한다. 지금까지 수학은 가까움 · 연속 등, 우리가 일상생활에서 상식적으로 쓰는 애매한 말들을 모두 엄밀하게 정의하고, 이를 연구의 대상으로 삼았다. 특히 근대수학은 무한의 정도를 수치화하여 그 틀 (수학) 안에 편입시켰다. 복잡함을 정의하고, 수치화하는 일도 당연히 수학자의 몫이다. 이 작업 하나만으로도 21세기의 새로운 과학에 있어서 수학은 여전히 여왕의 자리를 지켜나갈 것이다.
복잡하다고 말할 수 있으려면 어느 정도 복잡한지가 우선 객관화되어야 한다. 다시 말해서 복잡함의 정도를 수치로 표시하는 일이 필요하다 (이와 관련하여 우주 안에서 가장 복잡한 존재란 어떤 것인지 생각해 보는 것도 재미있다). 역설적으로 들릴지 모르지만, 복잡성은 정보가 최대로 많은 상태이며, 무질서는 아무것도 찾아낼 수 없는 상태라고 정의해 두자.
이미 과학에 있어서 무질서, 무작위는 '엔트로피'(entropy) 라는 지표 (수치) 를 갖고 있다. 그러나, 앞서 잠깐 말한 대로 우리들이 대상으로 삼은 카오스의 복잡함은 무질서와는 다른 개념이다.
또, 어떤 문제를 해결하는 데 얼마나 시간이 걸리는지 측정할 수 있다. IQ테스트가 그 좋은 예이다. 정해진 문제를 정해진 시간안에 얼마나 많이 해결하는가를 IQ로 수치화해서 측정하는데, 그 내용은 주어진 문제가 기존의 시스템 내에서 얼마나 복잡한가를 평가하는 일이다. 앞에서 이야기한 대로 경험이 적은 어린이에게는 많은 시간이 걸리는 문제도 어른은 바로 해결한다. 이것과 관련해서 생각한다면, 어떤 기준이 되는 시스템을 설정하여 문제 해결에 걸리는 시간으로 복잡성을 측정할 수도 있을 것같다.
겉으로 보기에 카오스는 혼란스럽고 복잡하다. 하지만, 카오스는 꽃가루를 수면에 뿌릴 때 생기는 브라운 (brown) 운동과 같은 무질서 상태는 아니다. 우리의 상식으로는 카오스 하면 바로 무질서 · 혼돈을 연상하기 쉬우나, 카오스는 그런 현상들과는 전혀 별개의 것이다. 거의 모든 창조 신화에는「처음에 카오스 (혼돈) 가 있었다」에서 시작되는데, 여기에서 말하는 세계 원초의 상태인 혼돈은 많은 것을 생성하는 어떤 원천으로 간주되고 있다. 우리가 생각하는 '카오스' 는 바로 그와 같은 것이다.

그림 1. 엔트로피, 복잡성(정보), 카오스의 관계도
그림 1 은 카오스를 중심에 두고 질서와 무질서의 관계를 보여주고 있다. 그래프에서 보는 것처럼 카오스는 완전한 질서와 완전한 무질서 중간에 있고, 또한 복잡성의 정도가 최대인 상태임을 보여준다. 또한 처음에 엔트로피의 증가와 복잡성의 증가는 지수함수의 그래프를 닮았다. 그 이유는 복잡성이 어느 정도 지나면 자기조직이 발생하여 엔트로피를 줄여가면서 더욱 복잡해지기 때문이다. 그리하여 카오스의 장점을 넘어서면 복잡성은 급격히 줄어들면서 엔트로피만 증가한다. 그 다음은 완만한 기울기로 복잡성이 감소한 것과 반비례해서 엔트로피가 증가하여 아무런 정보도 없는 최대의 무질서를 향해 치닫는다. 이에 대해서는 뒤에서 다시 이야기하겠다.
복잡성이란 모르는 정보가 많다는 말과 동의어이다. 창조신화의 주인공인 신이 보는 카오스는 최대의 가능성을 갖는 것이었다. 한편, 인간에게는 정보가 가장 많이 숨어있는 상태이기도 하다. 한마디로 카오스는 정보의 보고인데, 그 정보가 어떤 자지조직을 통해 구현되는지가 아직은 분명하지 않은 상태인 것이다.
프랙탈은 부분이 전체와 동일한 구조를 지니는 것, 즉 '자기닮음'이라고 했다. 우리가 보는 자연계의 프랙탈적인 형태와 카오스적인 현상은 복잡성과 단순성이 결합한 것이다. 단순성은 코흐곡선에서 보는 바와 같은 간단한 규칙을 말하며, 복잡성은 그 간단한 규칙을 무한히 반복해서 만들어지는 것이다. 간단한 규칙과 무한한 반복이 아름다운 모습을 만들어 낸다. 그러나, 단지 무한히 반복되는 것이 아니라, 거기에 미묘한 규칙성이 있기 때문에 아름답다. 규칙과 반복의 차이점에 대한 자세한 이야기는 나중에 또 하겠다.

일단, 카오스 이론의 문턱에 서보면 세계는 복잡성으로 가득차 있음을 알게 된다. 이 복잡성들은 간단한 규칙이 되풀이됨으로써 일어나며, 마침내 카오스가 된다. 이 단순성과 복잡성의 구도 내에서 신비성마저 느낄 수 있다는 점이 카오스의 특징이다.
예전에는 완전한 무질서라는 의미의 카오스와 질서를 뜻하는 코스모스 (cosmos) 를 정반대의 개념으로 보아 왔음은 이미 말했다. 하지만 우주는 무질서와 질서의 이분법이 아니라 질서와 무질서, 그리고 카오스의 세 영역으로 이루어지고 있다. 요즘 절실히 느껴지는 서양문화의 한계는 그리스 이래의 코스모스와 카오스의 이분법, 즉 Yes · No의 흑백논리에서 비롯되었다. 이제 그 서양 수학의 연장선 상에서 그같은 이분법의 논리를 부정하는 카오스 이론이 움터나온 것이다.
완전한 질서란, 예를 들면 운동장에 있는 학생들이 앞뒤 좌우로 반듯하게 정렬하고 있는 상태이다. 이러한 질서는 우리가 익히 아는 일이며, 여기에서는 별로 쓸모있는 정보를 얻을 수가 없다. 반대로 완전한 무질서는 각 요소의 변화가 최대의 가능성을 갖게 한다. 즉, 줄지어 서있을 때와는 달리 학생들은 운동장 어디에도 갈 수 있는 자유, 즉 '자유도' 가 최대인 상태이다. 그러나, 그같은 무질서 상태 역시 질서의 경우와 마찬가지로 좋은 정보를 얻을 수 없다. 다음으로 생각할 수 있는 것이 카오스이다. 카오스는 무질서이지만 완전한 무질서는 아니다. 학생들은 줄지어 서있을 때보다는 자유롭지만, 운동장 어디에나 갈 수 있는 자유는 없다. 즉, 어떤 느슨한 정보에 따라 분포함으로써 카오스적 패턴을 보이는 것이다.
예를 들면, 운동장에서 축구 경기를 하는 학생들의 움직임을 생각해 보자. 학생들은 경기장 안이라는 한정된 공간에서만 움직이며, 공의 흐름에 따라 이리저리 몰려다닌다. 그리고 공격와 수비를 위한 적절한 변화를 보인다. 즉, 학생들의 위치는 축구경기를 이끌어 가는 전략적 · 전술적인 정보를 말해주는 것이며, 계속 새로운 정보를 스스로 생성하고 자기조직화하는 역동적인 구조이다.
카오스는 너무나 많은 정보를 내포하기 때문에 얼핏 무질서로 보인다. 바쁘게 돌아가는 작업장에는 여러 가지 도구가 이리저리 흩어져 있고, 사람들은 분주히 움직인다. 외부 사람의 눈에는 매우 어수선하지만, 그곳은 활기에 차있고 생산이 활발히 이루어진다. 어수선한 시장도 마찬가지이다. 수많은 사람이 여러 가지 상품을 구입하기 위해 붐빈다. 즉, 새로운 정보가 여기저기에 범람한다. 시간에 따라서 상품에 대한 정보와 가격이 변해 간다. 그 변화에 따라서 사람들의 움직임이 좌우되는 것이다. 겉으로 보기에는 무척 혼란스럽지만, 거기에는 각자의 정보에 따라 움직인다는 법칙성이 있다.
또, 눈을 돌려서 숲속의 개미집 주위를 관찰하며, 수많은 개미들이 어지럽게 움직이고 있다. 하지만 각각의 개미들은 맡은 역할이 따로 있고, 서로 페로몬 (pheromone, 동물 특히 곤충이 동료들에게 어떤 행동을 일으키게 하기 위해 미량으로 분비하는 물질) 이라는 화학물질을 방출하여 정보를 주고받으며, 먹이가 있는 곳으로 가기도 하고, 새로운 먹이를 찾아 정탐도 한다. 적을 막기 위해 경계를 하는 병정개미, 집을 수리하는 일개미, 새끼를 낳고 기르는 왕개미들로 매우 분주하다. 이 작은 개미의 세계에도 정보가 범람하여 살아 움직이고 있다.
이 관점에서 보면 완전한 질서 상태에서는 복잡성은 분명히 0 이다. 완전한 무질서도 그 이상의 아무런 정보가 없으므로 역시 정보량은 0이며, 정보에 관해서는 전혀 복잡하지 않다. 이것은 아무것도 새로운 정보를 제공할 수 없는 '죽어 있는' 상태이다. 질서정연한 결정이나 무질서한 쓰레기는 모두 죽은 상태라는 점에서 공통적이다. 질서정연한 결정체가 깨져서 점점 무질서해지는 과정에서 정보가 증가하지 않으면, 그대로 최대의 무질서에 도달할 뿐이다. 이것은 시간에 따라 점점 무질서가 증대해간다는 열역학의 제 2법칙인 '인트로피 증대의 법칙' 그대로이다.
원초의 지구에서 바다는 그저 미네랄 (mineral, 광물질) 이 녹아있는 짭짤하고 균질적인 맑은 소금의 바다였다. 그리하여 시간이 지남에 따라 여러 가지 유기물질이 생겨나면서 바다는 점점 뿌옇게 오염되어 갔을 것이다. 이런 상태가 계속되면 엔트로피 법칙에 따라 바다는 다만 국물처럼 혼탁해져 갈 뿐이다. 그런데, 여기에 주기적으로 에너지를 공급하는 것이 있었다. 그 중에서 가장 큰 에너지는 태양으로부터 왔다. 태양은 밤과 낮을 만들어 바닷물을 데웠다 식혔다 해서 구름을 만들고, 비를 내리게 했다. 그리고 달은 끊임없이 밀물과 썰물을 일으켜서 바다를 출렁이게 했다. 이들 에너지는 바닷물에 녹아있는 유기물질들에게 어떤 형태의 귀중한 정보가 되었을 것이다. 창조신화를 지어낸 사람은 이런 상태를 상상하여, 카오스가 모든 것의 시작에 앞서 존재하였다고 직감했을 것이다.
태고의 바다에서 여러 가지 아미노산 · 핵산 등의 유기물질들은 혼돈을 겪으면서 점점 조직체를 만들어갔다. 마치 시장 바닥에서 사람들이 상품의 정보에 따라 끊임없이 모이고 흩어지는 것처럼 움직여서 질서를 만들어 갔을 것이다. 즉 단백질이나 DNA의 고분자가 형성된 것이다. 이것은 시장 바닥을 도는 사람들이 서로의 이익에 따라 분업을 하거나 조합을 만드는 것과 유사하다. 이들 고분자의 조직들은 점점 더 큰 조직으로 발전하여 초고분자가 된다. 시장 바닥의 작은 조직체가 점점 발전해서 상회가 되고, 기업으로 커가는 것처럼 말이다. 이처럼 정보는 살아 움직여서 새로운 상황을 창조해 간다. 생명의 본질은 바로 이러한 정보의 조직화에 있었던 것이다.
단조음과 백색잡음 사이에 아름다운 음악이 있듯이 따분하고 지루한 천국과 무섭고 스릴 넘치는 (?) 지옥 사이에 인간 세계가 있다. 음악이 때로는 지루하게, 또는 경쾌하게 들리는 것처럼, 인간 세계도 평화스럽고 규칙적인 상태에서 삽시간에 공황이나 전쟁 등의 난장판으로 변하기도 한다. 이런 관점에서 본 인간 세계는 복잡성이 피크 (절정) 에 달해 있으며, 항상 창조의 가능성으로 가득차 있다. 복잡성의 과학은 이처럼 복잡한 대상을 이제까지의 분석적인 방법론을 버리고, 전체적 또는 홀론 (holon) 주의와 같은 입장에서 대국적으로 파악하려는 것이다.
이 복잡성의 과학은 프랙탈 기하학, 카오스 이론, 홀론 이론, 일반 시스템론, 인공생명, 인공지능, 인지과학, 사이버네틱스 (cybernetics) 등등, 신과학의 거의 모든 분야가 포함된다. 앞으로 이들 방대한 신과학의 내용이 카오스 이론으로 통일적으로 해석될 수도 있으리라는 희망을 가져도 좋을 것이다.