칸토르의 경악

 

1. 무한론의 등장

프랙탈은 본래 '무한' 개념을 전제로 하고 있다. 프랙탈 도형은 생성자를 무한히 반복하여 얻어지기 때문이다. 이렇게 해서 우리는 무한을 눈으로 똑똑히 볼 수 있게 된 것이다. 프랙탈은 무한을 기하학적으로 나타내어 다루는 새로운 무한수학의 탄생을 알린다. 무한을 다루는 학문은 수학과 철학 뿐이다. 무한은 현실에는 없어도 마음 속에는 있다.

그래서 우리는 프랙탈의 문턱에 본격적으로 들어서기 전에 무한이 수학에서 정식으로 다루어지기 시작한 19세기로 되돌아가 보기로 한다. 19세기 말에 독일의 수학자 칸토르(G. Cantor, 1845~1918)는 무한의 수학(집합론)을 창설했다. 인간이 신의 영역으로만 여겨서 줄곧 멀리해 온 무한의 본질에 도전하는 것은 신의 노여움을 사게 될지도 모르는 엄청난 지적 모험이었다. 그래서 수학자들도 오래도록 조심스럽게 무한을 피해왔다. 하지만 수학은 무한을 끝내 외면할 수 없게 되었다. 근대에 들어서면서 무한대, 무한소, 무한급수... 등, 무한의 그림자는 집요하게 수학자의 앞 길을 가로막아 섰다.
로고스(논리, 이성)를 신봉한 그리스인은 유한의 울타리를 굳게 지켰다. 그들에게 있어서 평행선은 '어디까지 가도 만나지 않는 두 직선이다' 이때 '어디까지' 가는 주체는 인간이며, 인간은 유한의 존재이기에 갈 수 있는 범위는 결국 유한이다. 만일, 유한의 경계를 벗어날 수 있는 '초월자(신)'의 능력을 갖는 자가 존재한다면, 유한의 울타리를 뛰어넘을 수는 있겠지만 말이다. 마찬가지로 수의 세계는 1, 2, 3,...과 같이 아무리 셈하여 가도 유한이다. 하지만 이 유한수의 열을 단번에 뛰어 넘으면, 'ω'(오메가)라는 무한수가 모습을 드러낸다.

1, 2, 3, ..., n, ... → ω

2. 무한의 해부학

무한수열을 연구하던 중에 더이상 무한을 외면할 수 없음을 깨달은 칸토르는 두려움과 호기심으로 적극적인 무한의 해부를 시도한다. 무한을 해부하는 메스는 의외로 단순하고, 익히 잘 알고 있는 것이었다. 평소 유한의 대상에 대해서 늘 써왔던 '1대 1대응'이라는 방법을 그대로 사용하면 되었던 것이다. 교실 안에 있는 학생의 집합 M, 교실안의 책상의 집합 N 에서 학생 책상 하나를 대응시킬 때, 결석생이 없을 때에는 M N 사이에 1 대 1 대응이 성립한다. 돌이켜 보면, 일반적으로 우리가 수를 셈한다는 것은 유한 개의 대상을 자연수에 대응시키는 일이다. 이를테면, 세 개의 물건에는 {1, 2, 3}의 수가 대응한다. 칸토르는 이 방법을 무한을 셈하는 일에도 그대로 적용한 것이다.

당시 사람들이 무한은 그냥 무한이지, 그 종류나 대소의 구별이 있을 까닭이 없다고 생각하고 있을 때, 칸토르는 이 상식을 무릅쓰고 무한의 세계로 파고들었다. 만일, M 이라는 집합이 자연수 전체의 집합 {1, 2, 3, ...}과 1대 1대응이 성립한다면, M 은 자연수와 '같은 정도의 무한'이다. 즉, M 과 자연수 집합은 집합의 '크기'가 같다. 집합의 크기, 즉 원소의 개수를 수학에서는 '농도'라고 말한다. 유한 집합의 크기는 그대로 원소의 개수이지만, 무한 집합의 경우는 원소의 개수를 낱낱이 셈하는 것은 불가능하기 때문에 '농도'라는 말을 빌려 온 것이다. 이제까지 모든 자연수의 개수는 무한의 기호인 '∞'로 나타내었지만, 이제 크기에 따라 여러 종류의 무한이 있음을 알게 된 이상, 이것들에 각각 이름을 지어주어야 한다.

자연수 전체의 개수, 즉 농도를 히브리 문자 ℵ0로 표시하여 '알레프영'(aleph zero)으로 읽는다. 농도가 ℵ0인 집합은 자연수의 집합처럼 번호를 붙일 수 있는 집합이라 하여 가부번 무한(집합)이라고 한다. 이 무한 집합의 세계에서는 유한 집합에서는 있을 수 없는 일이 벌어진다. 즉, '부분이 전체와 같을 수 있다'는 사실이 그것이다. 무한 세계에서는 지금까지의 유한 세계의 상식이 그대로 통하지는 않는 것이다.

E={2, 4, 6, 8, ...}인 짝수의 집합은 분명히 자연수의 집합 N={1, 2, 3, 4, ...}의 부분집합에 불과하다. 하지만, E N 은 1대 1의 대응이 성립하며, 따라서 같은 농도를 갖는다. 다시 말해서 E N 과 같은 농도 ℵ0를 가지는 집합, 즉 가부번 집합이다.

자연수 다음에 등장하는 것은 유리수(분수)이다. 분수 중에서 특별히 분모가 1인 것만을 생각한다면 그것은 자연수가 되므로 자연수 전체는 분수 전체로 된 집합의 부분 집합이다. 이 사실은 직선 상에 수를 나타내보면 금방 알 수 있다.

자연수는 1씩의 간격으로 띄엄띄엄 배열되어 있다. 이런 상태를 수학에서는 이산적이라고 부른다. 하지만 분수는 직선 상에서 아무리 짧은 부분을 잡아도 그 속에 또 분수가 촘촘히 박혀 있다. 즉, 유리수의 집합은 조밀성을 지닌다.

그러나, 놀랍게도 분수 전체의 집합도 자연수의 집합과 1대 1 대응이 가능하며, 따라서 같은 가부번 집합인 것이다.

3. 무한보다 큰 무한!

이미 예고한 바와 같이 자연수 전체와 분수 전체가 같은 농도를 갖는다고 해서 성급하게 '모든 무한집합은 자연수 집합과 같은 농도를 갖는다'라고 생각해서는 안된다. 사실은 그렇지 않고 이보다 큰 농도를 갖는 집합이 있는 것이다. 0 에서 1까지의 선분 상의 점을 나타내는 수들의 집합은 아무리 해도 1, 2, 3, ...과 같이 번호를 매길 수 없다. 즉, 자연수 전체의 집합보다 '농도'가 큰 집합이다. 그러므로 실수의 집합은 자연수보다 훨씬 큰 무한 집합이다. 유한의 인간이 겨우 가부번의 무한이라는 우주의 극지에 도달했는데, 다시 그 너머에 훨씬 큰 무한의 세계가 있다는 것이다.

이 좁은 범위 안에 자연수 전체의 개수보다 훨씬 많은 점들이 들어있다!

비행기보다 더 빠른 근두운을 타고 온갖 재주를 부리는 손오공이라도 부처님 손바닥을 벗어나지 못한다. 즉, 인간을 뛰어넘는 능력을 가진 손오공도 제아무리 뛰어봐야 가부번 무한을 벗어나지 못한다. 그런데, 부처님 손바닥 밖으로 더 넓고 큰 우주가 있다고 하니 입이 다물어지지 않는다.

실수 집합의 농도는 연속의 선분 상의 점의 개수와 같기 때문에 연속체 농도 또는 비가부번 농도라고 부르며, ℵ1으로 나타낸다. 계속 그 부분집합의 집합, 또 그 부분집합의 집합, ...을 생각하면 ℵ2, ℵ3,  ... 등, 이보다 큰 집합이 얼마든지 나타난다(부분집합의 집합의 농도는 처음의 집합의 농도보다 항상 크다!). 무한 세계에도 크기가 다른 무한 개의 종류가 있는 것이다. 

* 「제 3의 과학혁명-프랙탈과 카오스의 세계」김용운, 김용국 공저, 1998년 3월.