혼돈 ( Chaos )

과학사상24호(1998년-봄) : 국형태 (경원대 교수ㆍ물리학), 범양사 출판부, Page 136~141

'혼돈 chaos' 이란 한 마디로 정확한 정의를 내리기는 어렵지만 흔히 외관상 복잡하고 불규칙적이어서 실질적인 예측이 불가능한 운동을 가리킨다. 원래 혼돈은 조화로운 자연이 창조되기 전의 무질서한 상태를 가리키는 개념으로 사용되었는데 이는 그리스 신화와 중국의 장자에서도 암시되듯이 고대 동서양에서 공통적으로 가졌던 개념이었다. 하지만 오늘날 과학용어로써 사용되고 있는 혼돈은 고대의 개념과는 다른 의미로 사용되고 있다. 즉 외관상 무작위해 보이지만 그 배후에는 어떤 결정론적인 법칙이 그 운동을 지배하고 있다는 것이다. 이 점을 강조하기 위해서 혼돈을 굳이 '결정론적 혼돈 deterministic chaos' 이라고 불리는 일종의 질서를 내재하게 하는 원인이 된다.

결정론적 법칙의 예로 뉴턴의 운동법칙을 상기해 보자. 지표상에서 포사체의 운동 궤적을 우리는 운동 방정식을 풀어서 쉽게 구할 수 있다. 즉, 포사체를 쓸 때의 방향, 속도 등 필요한 초기 조건이 엄밀하게 주어지면 포사체가 어느 위치에 어떤 속도로 떨어지는지를 정확하게 결정할 수가 있다. 이런 결정론적 법칙에 의해 지배되는 운동이 혼돈과 같이 무작위한 양상을 보일 수 있다는 것은 정확한 혼돈의 의미를 파악하기 전에는 그 정의가 임의적으로 보일 수 있다. 이런 의미의 혼란은 매릴랜드 대학의 수학자였던 요오크 James York가 1970 년대 초 카오스란 단어를 논문에서 처음으로 사용하였을 때도 논란의 대상이 되었다. 혼돈의 결정론적 비예측성은 매우 모순되는 개념처럼 들리지 만 이는 아래에서 설명할 '나비효과 butterfly effect' 에 의해서 이해될 수 있다.

결정론적 법칙에 의해서 지배되는 모든 운동이 혼돈 운동인 것은 아니다. 또한 혼돈을 유발하기 위해서 그 계가 매우 복잡한 계일 필요도 없다. 시계추의 진동과 같은 간단한 경우도 혼돈 운동을 보일 수 있다. 혼돈 운동이 일어나기 위한 여러 가지 조건들이 알려져 있지만 그중 가장 중요한 것은 운동법칙에 내재된 비선형성이다. 원인에서의 작은 변화가 결과에서도 항상 작은 변화를 야기할 때 우리는 그 계를 선형적이라고 한다. 선형계의 경우는 초기 조건에 약간의 오차가 있다 하더라도 결과에 큰 영향을 주지 않기 때문에 그 계의 미래를 비교적 정확하게 예측할 수 있다. 하지만 비선형계가 혼돈 운동을 보일 때 초기 오차는 시간이 흐름에 따라 지수함수적으로 급격히 증가한다. 따라서 무한히 정확한 초기 조건을 모르는 한 우리는 잠시 후의 결과에 대해 대략적인 예측도 할 수가 없게 된다. 즉 혼돈은 초기 조건에 매우 민감하게 의존하여 초기 조건이 조금만 달라도 전혀 다른 양상의 운동을 하게 된다. 이는 혼돈의 가장 중요한 성질 중의 하나이며, 서울에서 나비날개의 팔랑거림이 지구 반대편 리우데자네이로에서의 폭풍의 원인이 될 수 있다는 소위 '나비효과' 로 일컬어지고 있다.

고대로부터 과학의 역사를 통해서 오랫동안 혼돈의 존재는 간과되어 왔다. 현재 혼돈의 존재는 19 세기 말 프랑스 수학자 푸앵카레 Henry Poincar의 천체 궤도의 안정성에 관한 연구에서 처음으로 관찰된 것으로 알려져 있다. 하지만 당시의 놀라운 발견은 그것을 이해할 만한 언어가 없었기 때문에 '너무도 어려워 풀 엄두가 나지 않는' 문제로 젖혀지고 후세의 연구도 뒤따르지 못했다. 이후 20 세기 초에도 수학자, 전기공학자들에 의해 관찰된 흔적은 남아 있지만 지속적인 관심을 끌지는 못했던 것 같다.

혼돈에 대한 최근의 폭발적인 관심과 체계적인 연구 노력의 시발점은 이들보다 훨씬 나중에 미국의 대기과학자였던 로렌츠 Edward Lorenz의 연구 결과에 의하여 제공되었다. 로렌츠는 1960 년대 초 MIT의 한 연구소에서 기후 변화를 예측하기 위한 모델 연구를 수행하고 있었다. 그때만 해도 1950 년대 프린스턴 고등연구소의 폰 노이만 von Neuman에 의해 고안된 컴퓨터가 아직도 이론과학의 도구로는 여겨지지 않고 있던 시절이었다. 하지만 로렌츠는 자신의 기후 예측 모형 방정식을 푸는 데 컴퓨터를 성공적으로 이용하고 있었다. 그는 기후 예측과 관련된 본질적인 문제들을 놓치지 않으면서 모형을 최대로 단순화하여 3 개의 연립미분 방정식으로 구성된 모형 방정식을 얻고 컴퓨터가 이를 풀어서 쏟아 내는 숫자들로부터 어떤 규칙성을 찾고자 하였다. 연구 과정에서 우연히 그는 과거에 했던 계산을 다시 반복해서 면밀히 검토할 필요가 있었다. 그래서 같은 초기값을 주고 같은 계산을 반복하였는데 이번에는 처음의 초기값을 중간 자릿수에서 반올림하여 능률적인 계산을 꾀하였다. 놀랍게도 컴퓨터는 처음과 전혀 다른 결과를 보여 주었다. 컴퓨터의 고장을 의심하였지만 컴퓨터는 제대로 작동하고 있었다. 컴퓨터에서는 정확히 같은 프로그램이 구동되고 있었으며 단지 인가한 초기값이 원래의 것과 1000 분의 1 정도의 오차를 갖는다는 점만이 달랐을 뿐이다. 이 정도의 오차란 당시의 사고방식으로는 합리적인 것이었다. 기상위성의 관측도 이만한 오차를 기대하기가 어려웠다. 프로그램은 순전히 결정론적인 방정식들을 풀어 나가는 방식이었으며 초기값이 같으면 결과도 항상 같았다. 초기값이 약간 다르다면 결과도 약간 다를 뿐으로 당연히 기대하였을 것이다. 그러나 로렌츠의 모형 방정식은 작은 오차를 갖는 초기값들에 대해 엄청나게 다른 결과를 주는 비선형계였던 것이다. 그가 기대하였던 것은 아니지만 그는 비선형계의 혼돈에서는 작은 변화가 크게 다른 결과를 야기할 수 있다는 것을 입증하게 된 것이다.

1963 년에 발표한 논문 '결정론적이며 비주기적인 흐름 deterministic nonperiodic flow' 의 말미에세 로렌츠는 7 개의 연결고리 모양을 하고 있는 위상공간에서의 혼돈 궤도의 형상을 게재했으며 이는 현대의 그것과는 비교할 수 없을 정도로 뒤떨어진 당시 컴퓨터의 계산 능력이 허용하는 정도였다. 이것이 훗날 보다 빠른 컴퓨터에 의해 근사하게 작성되어서 널리 알려져 있는, 두 날개를 펼친 나비 형상을 하고 있는 '로렌츠 끌개 Lorenz attractor' 인 것이다 (178쪽 참조). 로렌츠 끌개는 혼돈의 기하학 형상, 혹은 속의 숨은 질서라고 할 수 있는 기묘한 끌개의 첫 번째 발견이라고 할 수 있다.

한편 로렌츠의 연구와 독립적으로 몇몇 다른 과학자들도, 당시는 자신들이 하고 있는 것이 서로 관련 있는 연구인지 인식할 수도 없었겠지만, 혼돈과 관련된 연구를 진행하고 있었다. 이들은 동역학계의 안정성에 관한 연구를 하던 캘리포니아 대학의 스메일 Stephen Smale, 유체의 난류 turbulence 현상에 대한 연구를 하던 프랑스 고등자연과학 연구소 IHES의 루엘 David Ruelle 등이었다. 스메일은 기묘한 끌개의 본질적 생성 메커니즘을 그의 유명한 모형의 편자 horseshoe 사상에서 늘림과 접힘을 수반하는 위상공간의 비선형 변환으로 밝힌 바 있다. 즉 밀가루 반죽을 늘리고 접고 하는 과정을 계속적으로 반복했을 때 얻어지는 국수 가락이 바로 혼돈 운동이 위상공간에 만드는 궤적인 기묘한 끌개인 것이다. 동역학계에서 모든 안정된 끌개는 전부 정상적인 형상을 가질 것이라는 이전의 기대와는 달리 혼돈은 모든 축적에서 전체의 구조를 반복하는 계층적 구조를 갖는 쪽거리 fractal인 안정된 기묘한 끌개 위에서 일어난다는 것을 밝힌 것이다. 루엘은 난류의 시작이 세 개의 독립된 진동이 겹쳐질 때의 불안정성에 기인한다는 것을 네덜란드의 수학자 타켄스 Floris Takens와 함께 증명해 보였다. 이는 기존의 전통적 견해였던 무한히 많은 독립된 진동들이 겹쳐져서 난류의 복잡성을 만든다는 란다우 모형에 대한 대안이 되었다. 또한 이들은 혼돈과 관련한 핵심적 단어인 '기묘한 끌개' 도 고안해 냈다. 사실 로렌츠의 연구 결과는 10 년이 약간 안되는 세월이 지나서야 이들에 의해 재발견되어 과학자들의 세계에 소개되었다고 할 수 있다. 또한 스메일과 루엘 등은 뒤늦게 발견한 로렌츠의 끌개가 바로 그들이 수학의 추상적 공간에서 조우했던 혼돈에 대한 자연세계에서 존재하는 실체임을 확인할 수 있었던 것이다.

혼돈은 다양한 분야의 과학에서 적용된다. 심장 박동의 불규칙한 리듬, 뇌파의 유형, 정신분열증 환자의 안구 운동, 기상 예측 거시적 경제지표의 변화, 주식가의 변동, 교통량의 변화, 생태학적 개체수의 변동, 수도꼭지로부터 떨어지는 물방울의 리듬, 목성의 붉은 반점, 그네의 운동, 해안선의 복잡함, 눈송이의 결정 모양, 공중으로 피어 오르는 담배 연기의 행태 등 그 예는 자연과학과 공학에서 사회과학에 이르기까지 무한히 많다. 이런 문제들은 그간 서로 다름 분야에 국한된 문제였거나 어느 분야에서도 도외시되던 문제들이었다. 이제 이런 문제들은 혼돈 이론, 또는 비선형 과학이라고 부를 학제간의 구별이 없는 과학에서 협동적으로 다루는 문제들이 되었다.

혼돈은 계의 비선형성에서 유래하는 현상이다. 비선형성을 내재하고 있는 대부분의 현상들은 그간 전통적인과학이 간과하거나 회피해오던 문제였다. 그 이유로는, 그 동안 비선형성을 다룰 수 있는 도구가 없었다는 점과 선형과학에 너무 익숙해진 나머지 이해하지 못하고 있던 것들까지도 모두 선형적일 것이라고 잘못 생각해 온 점 등을들 수 있다. 전통적 과학은 크게 두가지의 관점을 갖고 있다고 얘기할 수 있는데, 원인의 작은 변화는 결과의 작은 변화를 야기한다는 것과 부분을 개별적 독립적으로 이해할 수 있다는 환원주의적 관점이 그것이다. 혼돈은 이러한 전통적 과학의 영역밖에 있는 현상이고, 이것이 혼돈이 최근에 와서야 이해되고 있는 한 이유가 되기도 한다.

일반적으로 비선형 방정식은 간단하더라도 그 해석적 해를 구하는 것이 어렵다. 따라서 비선형계의 연구에서는 기하학적 및 정성적 접근 방법과 함께 컴퓨터를 이용한 복잡성의 시각화와 전산실험이 매우 중요하다. 현재까지 비교적 짧은 기간에 급속히 성장해 온 혼돈 과학이 있기까지는 무엇보다도 최근 폭발적으로 발전을 거듭해 온 컴퓨터의 계산 능력과 소프트웨어의 역할을 꼽지 않을 수 없다. 앞으로도 지속될 컴퓨터의 발전을 감안할 때 혼돈 및 비선형 과학의 관심 영역은 더욱더 넓혀질 것으로 예견된다.

국태형 ( 경원대 교수 · 물리학 )