세 가지 쉬운 패러다임으로 인공 지능을 만드는 법

 

21 세기 호모 사피엔스 : Raymond Kurzweil 지음, 채윤기 옮김, 나노미디어, 1999 (원서 : The Age of Spiritual Machines, Viking Penguin, 1999), Page 357~383

     - 재귀적 공식

     - 신경망

     - 큰 봉우리와 작은 봉우리

     - 체스 실험실

     - 제 3 의 길

1. 진화적 알고리즘

     - 세 패러다임을 결합한다.

 

딥블루가 점점 발전함에 따라서, 그는 전략을 이해하는 것 같다. 어딘가에서 단순한 전술이 전략으로 번역되고 있는 게 틀림없다. 이것이 내가 가까이서 본 컴퓨터 지능의 실체다. 이것은 지능의 경탄할 만한 모습이며, 컴퓨터 지능이 단초다. 분명히 느낄 수 있지 않은가? 냄새도 맡을 수 있다.     - 프레드릭 프레델,
(카스파로프의 조수, 카스파로프를 이긴 딥블루에 관한 논평이다.)

이 문장의 전체적인 요지는, 이 문장의 전체적인 요지를 명확히 하라는 것이다.  - 더글라스 호프스태터

"여기서 어느 길로 가야 하는지 알려주시겠어요?"
앨리스가 물었다.
"그것은 당신이 어디로 가고 싶은가에 따라 달라진답니다."
고양이가 말했다.
"특별히 가고 싶은 곳이 없는데..."
앨리스가 말했다.
"그럼, 아무데로 가든 문제가 없지요."
고양이가 말했다.
"... 어디로든 가기만 한다면..."
앨리스가 설명을 덧붙였다.
"그럼, 그렇게 해요"
고양이가 말했다.
"오래 걸을 수만 있다면."      - 루이스 캐럴

한 교수가 우주의 기원과 구조에 관하여 강의를 끝마쳤을 때, 테니스화를 신은 나이든 부인이 다가왔다.
"실례합니다. 선생님. 그런데 당신의 강의는 다 틀렸어요."
그녀는 계속 이야기했다.
"우주는 커다란 거북의 등에 앉아 있는 게 진실이랍니다."
교수는 그녀를 놀려 주기로 생각했다.
"아, 그래요? 그럼 거북이는 어디에 서 있지요?"
교수가 묻자 부인이 즉각 대답했다.
"아, 다른 거북의 등 위에 있지요."
교수가 물었다.
"그럼 그 거북은 어디에 있나요?"
그녀는 망설이지 않고 대답했다.
"또 다른 거북의 등이지요."
교수는 계속하여 질문을 했고, 부인은 드디어 짜증스런 얼굴이 되었다. 그녀는 손을 들어서 교수의 질문을 가로막고 말했다.
"젊은이, 그만해요. 그 아래에는 거북이밖에 없어요."  - 롤프 랜다워

 

제 6 장 "새로운 지능을 만든다" 에서 언급한 바와 같이 지능을 이해한다는 것은 마치 양파를 벗기는 것과 같아서 한꺼풀을 벗기고 나면 새로운 층이 나오곤 한다. 계속 벗기다 보면 양파 껍질만 잔뜩 남고 양파는 없어져 버린다. 다시 말하면, 지능 특히 사람의 지능은 여러 수준에서 작용한다는 것이다. 우리는 각 수준을 이해할 수는 있지만, 전체 과정을 이해하려면 각 수준을 통합적으로 이해해야 한다.

여기서는 제 4 장 "새로운 형태의 지능" 에서 논한 세 가지 패러다임을 좀 더 설명하고자 한다. 각각의 방법들은 정확하게 정의한 문제들에 대해 "지능적인" 해답을 제공할 수 있다. 그러나 지능적 존재들처럼 복잡한 환경에서 유연한 반응을 할 수 있는 시스템을 만들려면, 이 방법들을 적절하게 결합할 필요가 있다. 이해의 여러 수준을 통합해야 하는 경우에는 더욱 그러하다. 예를 들어, 우리가 한 개의 커다란 신경망을 만들어서 음성과 언어의 복잡한 지식을 모두 학습시키려고 한다면, 원하는 결과를 얻기 어려울 것이다. 좀더 괜찮은 결과를 얻으려면, 음성과 언어에서 발견되는 다양한 의미의 각 수준에 대응하도록 문제를 잘게 나누어야 할 것이다.

사람의 뇌는 그런 방식으로, 즉 특화된 부위들이 복잡하게 뭉쳐있는 식으로 조직되어 있다. 그리고 우리가 뇌의 병렬 알고리즘을 배우고 나면 그것을 확장시킬 수단도 알게 될 것이다. 예를 들어서 논리적 사고를 담당하는 대뇌 피질 부위에는 겨우 8 백만 개의 뉴런이 있다 (주석 : Vadim Gerasimov 의 "Information Processing in the Human Body." <http://vadim.www.media.mit.edu/MAS862/Project.html>). 우리는 이미 그보다 천 배는 크고 백만 배 이상 빠른 신경망을 만들고 있다. 지능적 기계를 설계하는 핵심적인 문제는, 지능의 구성 요소인 단순한 방법들을 결합하는 똑똑한 아키텍처를 설계하는 문제다.

- 재귀적 공식

여기에 어려운 문제를 지능적으로 해결하는 정말 단순한 공식이 있다. 집중하지 않으면 놓칠 수도 있으니 주의해서 봐야 한다.

    For my next step, take my best next step. If I'm done, I'm done.

너무 간단해 보일지도 모른다, 그리고 사실 첫눈에 별 내용이 없어 보이는 것도 사실이다. 그러나 이것의 능력은 놀라운 것이다.

재귀적 공식을 사용하는 전통적인 예제, 체스 게임을 생각해 보자. 체스는 지능적인 게임으로 간주된다. 적어도 최근까지 그랬다. 대부분은 아직도 체스를 잘 하려면 지능이 필요하다고 생각하고 있다. 그러면 어떻게 체스에 재귀적 공식을 적용하는가?

체스는 한 번에 말 하나를 이동시키는 게임이다. 목표는 "최선의 수" 를 두는 것이다. 그러면 최선의 수를 두게 하는 프로그램을 작성하기로 하자. 재귀적 공식을 체스에 적용하면 다음과 같이 된다.

    PICK MY BEST MOVE : Pick my best move. If I've won, I'm done.

아무래도 부족한 것 같다. 체스의 또 하나의 특징을 계산에 넣어야 한다. 즉, 체스는 혼자하는 게임이 아니고 반드시 상대가 있게 마련이다. 상대방도 역시 말을 움직인다. 상대방도 최선의 수를 둔다고 가정하자. 상대가 최선의 수를 두지 않는다면, 우리에게는 기회가 될 테니 문제가 생기지 않는다. 그러므로 프로그램은 다음과 같이 수정되어야 한다.

    PICK MY BEST MOVE : Pick my best move. assuming my opponent will do the same. If I've won, I'm done.

여기서 우리는 재귀 함수의 성질을 고려할 필요가 있다. 재귀적 규칙은 정의 안에 자기가 포함된 것이다. 재귀적 규칙은 순환적이지만 쓸모가 있으려면 영원한 순환에서 빠져나와야 한다. 우리에게는 탈출구가 필요한 것이다.

예제로서 간단한 팩토리얼 함수를 검토해보자. 자연수 n 의 팩토리얼을 계산하려면 (n - 1) 의 팩토리얼에 n 을 곱하면 된다. 이것이 순환하는 부분이다. 팩토리얼의 정의에 팩토리얼이 들어가 있으니 말이다. 우리는 1 의 팩토리얼이 1 이라고 특별히 정할 필요가 있다. 이것이 우리의 탈출구다.

2 의 팩토리얼을 계산해보자. 우리의 정의에 따라서

    2! = 2 × (2 - 1)! = 2 × 1!

우리는 1 의 팩토리얼이 얼마인지 직관적으로 알 수 있으므로, 무한한 순환에 빠지지 않는다. 1! 에 1 을 대입하면

2! = 2 × 1 = 2 가 된다.

체스를 돌아가서, 우리가 최선의 수를 정의할 때에 최선의 수라는 용어를 사용하였으므로 분명히 PICK MY BEST MOVE 함수는 재귀적이다. 말도 안 되는 듯한 부분 If I've won, I'm done. 이 우리의 탈출구다.

우리가 체스에 관해 알고 있는 것들을 모두 고려하기로 하자. 여기서 문제의 정의를 신중하게 하여야 한다. 최선의 수를 찾기 위해서는 모든 '가능한' 수를 나열할 필요가 있다. 이것은 아주 복잡한 일은 아니다. 게임의 어떤 시점에서 어떤 수가 유효한가 하는 것은 게임의 규칙에 의해 규정된다. 다른 게임보다 복잡할 수도 있지만 체스의 규칙은 비교적 간단하고 쉽게 프로그램될 수 있다. 그러면 우리는 수의 목록에서 최선의 수를 찾을 수 있게 되는 것이다.

그러면 어떤 수가 최선인가? 그 수로 이긴다면 분명 최선의 수가 될 것이다. 다시 규칙을 검토해 보고 바로 체크메이트를 만드는 수를 선택하면 된다. 아마도 바로 이기는 수를 찾을 정도로 운이 좋기만 한 것은 아닐 것이다. 끝나는 수가 아니라 유리한 수인가 불리한 수인가를 판단해야 할 상황이 많을 것이다. 여기서 우리가 추가했던 규칙 즉 "상대방도 같다고 추정한다" 는 사실을 생각해볼 필요가 있다. 결국 내가 이기는가 지는가는 상대방이 어떻게 두나에 따라서 영향을 받는다. 상대방의 머리 속에 들어가서 상대방의 최선의 수가 무엇인지를 알아볼 필요가 있다. 어떻게 그런 일을 할 수 있는가? 여기서 재귀적 공식의 힘이 드러난다. 우리의 예제에 있는 PICK MY BEST MOVE 함수가 바로 재귀 함수다. 상대방의 최선의 수를 알아내기 위해서 그 함수를 호출하면 된다.

우리의 프로그램은 이제 다음과 같은 구조가 된다.  PICK MY BEST MOVE 함수가 규칙에 허용된 모든 가능한 수를 나열한다. 모든 가능한 수들을 차례로 검사한다. 각각의 수에 대해서 예상되는 결과를 가상 체스판에 그린다. 다음에 상대방의 수를 예상하기 위해서  PICK MY BEST MOVE 함수를 상대방에게 적용하여 호출한다. 그러면 각 가상 체스판에서 상대방이 둘 수 있는 모든 수가 나열된다.

프로그램은 계속하여 자신을 호출함으로써, 내가 둘 수와 상대방의 수를 확장하여 트리 구조를 만든다. 이 과정은 상대방이 이길 가능성을 최소화하고 내가 이길 가능성을 최대화하려고 하기 때문에 '최소최대' 검색이라고도 불린다.

그러면 어디서 끝이 나는가? 프로그램은 트리의 모든 가지를 검사하여 게임이 끝나는 결과가 나오지 않는 한 계속하여 자신을 호출한다. 모든 게임의 결과는 이기거나, 비기거나, 지는 것 중의 하나다. 트리의 가장 먼 가지에서 프로그램은 게임이 끝나는 수를 만난다. 결과가 이기는 것이라면 그 수를 선택한다. 이기는 수가 없다면 비기는 수를 찾는다. 이기는 수도 없고 비기는 수도 없으면, 상대방이 완벽하지 않다는 기대를 가진 채로 게임을 계속한다.

마지막 수는 트리의 마지막 가지 혹은 마지막 잎사귀다. 계속하여  PICK MY BEST MOVE 함수를 호출하다가 이제는 돌아와서 각 시점에서의 최선의 수 (상대방의 최선의 수도) 를 결정한다. 그리하여 '실제의' 체스판 상황에서 최선의 수를 두게 되는 것이다.

그러면 이 단순한 프로그램이 체스를 얼마나 잘 둘까? 대답은 '완벽한' 체스를 둔다는 것이다. 완벽한 실력을 갖춘 상대방이 먼제 두지만 않는다면 절대 지지 않는다. 완벽한 체스 프로그램은 대단히 멋진 프로그램이다. PICK MY BEST MOVE 함수에서 가장 복잡한 부분은 각 시점에서 둘 수 있는 모든 수를 나열하는 것인데, 이것은 체스 규칙을 코딩하는 문제다. 항상 우리는 문제를 정확하게 정의하므써 해답을 얻을 수 있다.

그렇지만 끝난 것은 아니다. 완벽한 체스를 두는 것이 멋지기는 하지만, 그걸로 충분하지는 않다. 우리는 PICK MY BEST MOVE 가 얼마나 빠른 시간에 응답을 하는가를 생각해 봐야 한다. 각 상황에서 가능한 수가 평균 8 가지가 있고 게임이 30 수 만에 끝난다면 우리는 8 30 개의 경우를 검사해야 한다. 1 초에 10 억 가지 상황을 분석할 수 있는 컴퓨터라고 가정해도 (현재의 어떤 체스 컴퓨터보다도 훨씬 빠르다), 전체를 분석하여면 10 18 초가 걸릴 것이다. 이것은 약 40 억 년의 세월이다.

불행히도 그렇게 오래 걸리는 체스는 아무도 두지 않는다. 이 방법은 진화의 경우처럼, 대단한 작업이기는 하지만 너무나 오래 걸린다. 갑자기 진화 얘기가 나온 듯 하지만 진화도 또 하나의 단순한 패러다임이며, 우리가 사용할 단순한 공식이기도 하다.

그렇지만 재귀적 공식을 집어던지기 전에, 사람의 참을성을 고려하여 그리고 사람의 유한성을 고려하여 프로그램을 수정해 보기로 하자.

우리는 재귀호출의 깊이를 제한할 필요가 있다. 트리의 깊이를 제한하는 것은 사용할 수 있는 컴퓨터의 성능을 기준으로 해야 한다. 이렇게 하면 우리는 재귀적 공식을 손목컴퓨터부터 슈퍼컴퓨터에 이르기까지 어떤 컴퓨터에서도 사용할 수 있게 된다.

물론 트리의 깊이를 줄이면, 각각의 가지는 게임의 끝에 도달하지 못한다는 문제가 있다. 여기서 우리는 아직 게임의 끝은 아니지만, 편의상 마지막 잎사귀가 된 부분을 평가하는 방법이 필요하다. 게임의 끝이라면 평가는 간단하지만 (이기고, 비기고, 진다), 게임 중간에 평가한다는 것은 훨씬 복잡한 일이다. 또한 논쟁거리가 될 수도 있다.

'이상한 나라의 앨래스' 에 나오는 고양이가 앨리스에게 어느 길로 가든지 별 문제가 되지 않는다고 말할 때, 그는 재귀적 알고리즘의 전문가인 듯이 보인다. 중간 경로는 크게 중요하지 않은 것이다. 예를 들어 우리가 각 말에 점수를 매기기만 해도 (퀸은 10 점, 록은 5 점 하는 식으로), 좀더 훌륭한 결과를 얻을 수 있을 것이다. 이런 방식으로 만들어진 프로그램이라면 오늘날의 평균적인 개인용 컴퓨터에서 돌리더라도 전세계에서 수천 명 정도를 제외하고는 상대가 되지 않을 정도로 체스를 잘 둘 것이다.

이것이 필자가 말하는 "단순한 생각" 학파다. 이 학파는, 마지막 잎사귀를 평사하는 데에 단순한 방법을 사용하라, 그리고 컴퓨터의 성능이 허락하는 한 최대한 깊이 수를 읽어라, 라고 이야기한다. 반면에 "복잡한 생각" 학파는 마지막 잎사귀를 평가할 때에 "질" 까지 평가하기 위해서 좀더 복잡한 절차를 거쳐야 한다고 주장한다.

이 역사적 문턱을 넘는 딥블루는 잎사귀를 평가하는 데에, 남은 말의 점수제보다는 훨씬 더세련된 방법을 사용한다. 그렇지만 1997 년의 역사적 승리 몇 주 전에 필자가 딥블루 팀장인 머레이 캠벨을 만났을 때, 그는 딥블루의 평가 방법이 복잡한 쪽이라기보다는 단순한 쪽이라고 시인하였다.

체스를 두는 사람은 아주 복잡한 생각을 한다. 그것이 인간의 한계인 듯이 보인다. 결과적으로, 아무리 체스를 잘 두는 사람도 백 수를 내다보지는 못한다. 그렇지만 딥블루는 수십억 수를 미리 읽는다. 결국 1997 년에 "복잡한 생각" 학파의 대표격인 카스파로프가 단순한 생각의 컴퓨터에게 지고 말았다.

필자는 개인적으로 제 3 의 학파에 속한다고 생각한다. 사실 학파라고 할 것까지는 없는 것이, 아직 같은 생각을 하는 사람을 알지 못한다. 재귀적 패러다임과 신경망을 결합시키는 것이 바로 제 3 의 방법인데 다음 절에서 논의하기로 한다.

- 신경망

1960 년대 초 - 중반의 연구자들은 사람의 뉴런을 수학적으로 모방한 퍼셉트론이라는 기계를 사용하였다. 초기의 퍼셉트론들은 인쇄된 문자나 음성을 패턴 인식하는 데에 어느 정도의 성공을 거두었다. 퍼셉트론을 더 지능적으로 만들려면 다만 뉴런의 숫자만 늘리면 될 것으로 보였다.

그런데 1969 년 마빈 민스키와 세이머 페이퍼트가 '퍼셉트론' 이란 책에서 퍼셉트론은 곡선의 연속을 판단하는 단순한 문제를 절대 풀 수 없다는 것을 증명하였다. (연속된 곡선위의 모든 점은 서로 연결되어 있다). 이 책의 영향으로 퍼셉트론을 이용하는 모든 작업은 사실상 끝나 버렸다 (주석 : Marvin Minsky, Seymour Papert 공저, Perceptrons.).

1970 년대 후반과 1980 년대에, 사람의 신경을 시뮬레이트한 신경망이라는 페러다임이 다시 인기를 끌었다. 1988 년에 쓰여진 다음 글을 보자.

재귀적 알고리즘을 위한 수학 없는 "가짜 코드"

다음은 재귀적 알고리즘의 기초적인 뼈대다. 여러 가지 변형이 가능하며, 시스템 설계자는 실정에 맞는 변수와 방법들을 추가하여야 할 것이다.

재귀적 알고리즘

"PICK BEST NEXT STEP" 이란 함수 (프로그램) 를 정의한다. 함수는 문제가 해결되면 "SUCCESS" 를 반환하고, 해결하지 못하면 "FAILURE" 를 반환한다. 함수가 SUCCESS 를 반환하면 그 다음에는 문제를 풀기 위한 일련의 단계를 반환한다. 함수는 다음과 같다.

    PICK BEST NEXT STEP :

• 이 시점에서 재귀 호출을 탈출할 수 있는지를 결정한다. 먼저 문제가 해결되었는가를 검사한다. 이 함수는 이 함수에 의해 호출된 것이므로, 만족할 만한 결과가 나올 수 있다. 예를 들면,

만약 문제가 해결되었다면, 프로그램은 SUCCESS 를 반환한다. 이 경우
PICK BEST NEXT STEP 은 성공으로 이끈 일련의 단계들도 반환한다.

• 만약 문제가 해결되지 않았다면, 현재 시점에서 희망이 있는가를 검사한다. 예를 들면,

만약 이 시점에서 희망이 없다고 판단되면, 프로그램은 FAILURE 값을 반환한다.

• 이 시점에서 문제가 해결된 것도 아니고 희망이 없는 것도 아니라면, 여기서 재귀 호출을 계속할 것인가 중단할 것인가를 결정한다. 이 부분이 설계의 핵심이며, 컴퓨터가 사용할 시간의 제약을 고려해야 한다.

만약 프로그램이 유리하다고 판단한다면, 이 함수는 이기는 경우와 비슷한 식으로 SUCCESS 값을 반환한다. 불리하다고 판단하면, 지는 경우처럼 FAILURE 값을 반환한다.

• 만약 PICK BEST NEXT STEP 함수가 아무 값도 반환하지 않는다면 (성공과 실패, 즉 재귀 호출로부터의 탈출을 결정하지 않음), 재귀적 호출이 계속된다. 이 경우, 가능한 모든 경우의 목록을 만들게 된다. 여기가 바로 문제를 정확하게 기술하여야 할 곳이다.

이렇게 만들어진 목록의 각각에 대해서,

만약 호출된 함수가 모든 가능성을 다 검사하고도 SUCCESS 값을 반환한다면, 호출한 함수는 FAILURE 값을 반환한다.

    END OF PICK BEST NEXT STEP

만약 맨 처음에 호출한 PICK BEST NEXT STEP 함수가 SUCCESS 값을 반환한다면, 그것은 또한 그 단계의 올바른 지침도 반환하는 셈이다.

맨 처음 호출한 함수가 FAILIRE 값을 반환한다면, 처음으로 되돌아가서 판을 다시 짜야 한다.

핵심 설계 요소

위의 단순한 뼈대를 이용할 설계자들은 처음에 다음과 같은 것들을 결정해야 한다.

위 인용문의 저자는 세이머 페이퍼트다 (주석 : 인용된 "과학의 두 딸" 얘기는 페이퍼트의 "One AI or Mary," Daedalus 1988 년 가을호에서 따온 것이다. "세이머 페이퍼트 박사는 수학자이며 인공 지능 분야의 개척자 중 한 사람이다. 그리고 그는 컴퓨터가 학습 방법을 바꿀 것이라는 획기적 생각을 한 사람으로 널리 알려져 있다. 남아프리카에서 태어나 아파르트헤이트 (흑백 분리 정책) 반대 운동에도 참여했으며, 1954 년부터 1958 년 사이에는 캠브리지 대학에서 수학을 연구하였다. 1958 년부터 1963 년 사이에는 제네바 대학에서 장 삐아제와 함께 일했는데 이때 그는 어린이의 학습과 사고를 연구하는 데에 수학을 응용하려는 생각을 하게 되었다. 1960 년대 초에는 MIT 로 와서 마빈 민스키와 함께 인공 지능 연구소를 창설하였고, 두 사람의 기념비적인 저서인 Perceptrons 를 썼다. <http://papert.www.media.mit.edu/people/papert>). 피흘리는 심장이라는 냉소적인 비유는 그와 민스키가 쓴 '퍼셉트론' 이라는 책에서 증명한 정리가 광범위하게 오해되고 있었다는 사실을 반영한다. 그 정리는 뉴런을 한 레이어만 시뮬레이트한 경우의 한계를 증명한 것이다. 신경망을 다중 레이어로 만들어서 신경망의 출력을 다음 레이어의 입력으로 돌릴 수 있다면 경쟁력은 매우 증대될 것이다. 더욱이 우리가 신경망을 다른 패러다임과 결합한다면 더욱더 커다란 발전을 이룰 수 있다. 민스키와 페이퍼트가 가져온 심장은 단일 레이어 신경망의 심장이었던 것이다.

페이퍼트의 아이러니는 그와 민스키가 신경망 분야에 상당한 공헌을 했다는 사실도 반영한다. 사실 민스키는 1950 년대에 하바드에서 열린 세미나에서 신경망 개념을 제시함으로써 학계에 명함을 내밀었다 (주석 : "민스키는 인공 지능 연구의 선구자중 한 사람이다. 그는 1951 년에 최초의 신경망 컴퓨터를 제작하였으며, 그 이후 컴퓨터를 사용하여 사람의 심리 구조를 연구하는 것과 기계에 지능을 부여하려는 일을 해 왔다." http://minsky.www.media.mit.edu/people/minsky/minskybiog.html>).

정치적인 문제는 여기서 마치고, 신경망을 설계하는 데서 중요한 이슈는 무엇인가 알아보기로 하자.

하나의 핵심 이슈는 망의 위상, 즉 뉴런 간 결합의 조직이다. 다중 레이어로 조직된 망은 더 복잡한 인식을 할 수는 있지만, 훈련시키기가 어렵다.

망을 훈련시키는 것은 가장 중요한 이슈다.이를 위해서는 망이 인식할 엄청나게 많은 예제 패턴과 각 패턴을 정확히 식별하는 능력이 필요하다. 각 패턴이 망에 제시되면, 망은 정확히 식별되는 패턴은 강화하고 그렇지 않은 패턴은 약화시킨다. 이렇게 연결 강고를 강화 / 약화시키는 방법을 백 프로파게이션이라 부르는데 망 훈련에 사용되는 여러 가지 방법 중의 하나다. 사람 뇌의 신경망에서는 이런 학습이 어떻게 이루어는가에 대한 논란이 있는데, 문제는 사람의 뇌에서는 백 프로파게이션이 일어나지 않는 걸로 보인다는 사실이다. 사람의 뇌가 취하는 방법으로 생각되는 것은 단순한 뉴런 흥분이 시냅스의 신경 전달 물질 강도를 증가시킨다는 것이다. 또 신경 과학자들이 최근에 발견한 성과에 따르면, 지금까지 알고 있던 것과는 달리 유인원의 (아마 사람도 마찬가지) 뇌세포는 어른이 되어서도 계속 자란다고 한다.

- 큰 봉우리와 작은 봉우리

신경망과 진화적 알고리즘의 핵심적인 이슈는 '지역적 최적화 대 전역적 최적화' 라고도 불린다. 바꿔 말하면, 가장 가까운 봉우리를 오르느냐 가장 큰 봉우리를 찾아서 오르느냐 하는 문제다. 신경망이 결합 강도를 조절하여 학습을 하거나, 진화적 알고리즘이 시뮬레이트한 생물의 유전 암호를 조작하여 진화를 하게 되면, 정확한 해결에 접근하게 되고, "지역적으로 적합한" 해결책에 도달할 것이다. 이 방법은 가까운 봉우리를 올라가는 데는 아주 훌륭한 방법이다. 그렇지만 때로 가까운 봉우리를 오르는 데 빠져서 멀리 있는 큰 봉우리를 보지 못하는 우를 범할 수 있다. 신경망의 경우를 보면, 지역적으로 최적화된 해결에만 집중하다가 모든 결합 강도를 조절하려고 시도하면 해결책의 적합성이 떨어질 수 있다. 그러나 큰 봉우리를 오르기 위해서는 작은 봉우리에서 내려와야 하듯이, 신경망 (진화적 알고리즘도 마찬가지) 은 일시적으로 부족한 해결책을 채택할 필요도 있다.

이렇게 "거짓" 최적화, 즉 작은 봉우리에 머무는 것을 막기 위한 방법의 하나로, 아주 다양한 초기 조건에서 분석을 시작하도록 강제하는 방법이 있다. 다시 말하면 하나의 봉우리가 아니라 많은 봉우리를 올라가게 하는 것이다. 그러나 이 방법을 사용한다 하더라도 더 먼 곳의 더 높은 봉우리를 놓치지 않도록 주의해야 한다.

- 체스 실험실

우리는 체스를 통해서 인간의 사고 방식과 종래의 컴퓨터적 접근 방법을 비교해 볼 수 있다. 체스 경기의 기술을 장황하게 얘기하자는 것이 아니라 사람과 컴퓨터가 뚜렷이 대조되는 면을 얘기하고자 함이다. 카네기 멜론 대학의 인공 지능 전문가인 라즈 레디는 인공 지능 분야에서 체스를 연구하는 것은 마치 생물학에서 대장균을 연구하는 것처럼, 근본적인 문제들을 연구하는 데 이상적인 실험실의 역할을 한다고 말한다 (주석 : 라즈 레디 박사는 카네기 멜론 대학의 컴퓨터 대학 학장이며, 인공 지능 분야의 지도적인 연구자이다.). 컴퓨터는 가능한 수들의 엄청난 조합을 최고의 속도로 분석한다. 체스 프로그램이 몇 가지 다른 재주 (금세기 체스 대가들의 모든 게임의 초반이나 종반을 저장한다든가 하는) 를 사용하기는 하지만, 본질적으로는 속도와 정확성의 결합에 의존한다. 그에 비해서 사람은 비록 체스의 대가라 하여도 훨씬 느리고 부정확하다. 이것이 체스의 대가가 되거나 다른 분야의 대가가 되는 데 많은 시간이 걸리는 이유다. 게리 카스파로프는 체스를 연구하는 데 몇십 년 인생의 상당 부분을 소모했다. 연구자들에 따르면 각 분야의 전문가들은 약 5 만 개의 청크 (지식의 토막) 를 기억하고 있다고 한다.

카스파로프도 체스를 두면서 자신의 수와 상대의 수를 머리 속에서 미리 그려보지만, 사람의 정신적 한계 (속도에서나 기억 용량에서나) 때문에 기껏해야 수백 가지 결과를 미리 그려볼 수 있을 뿐이다. 그의 컴퓨터 적수인 딥블루가 수십억 가지 상황을 미리 그려볼 수 있는 것과 비교된다. 그러므로 사람은 자신의 강력한 패턴 인식 능력을 사용하여 영양가 없는 가지는 과감하게 잘라 버려야 한다. 그는 이미 분석된 수만 가지 상황에 각각의 예상을 대입해 본다.

1997 년 카스파로프가 지고난 다음에, 딥블루는 카스파로프처럼 "생각" 을 한 것이 아니라는 얘기가 많이 나왔었다. 반대로 얘기할 수도 있다. 즉 딥블루는 각 수를 검토하여 정말로 생각을 한 것이며, 카스파로프야말로 많이 생각할 시간이 없었다고 할 수도 있다. 카스파로프는 오래전부터 쌓아온 데이터베이스에 의존한 것이다 (물론 어느쪽이 맞는가는 3 장에서 얘기한 대로 "생각" 의 개념을 어떻게 정의하느냐에 따라서 달라진다). 그렇다면 미리 분석된 상황의 데이터베이스와 문제의 상황을 비교하는 데에 패턴 인식을 사용한 카스파로프의 방법이 진정한 "생각" 이라고 한다면, 컴퓨터가 같은 방식으로 작동하도록 설계해야 하는 것은 아닐까?

신경망 알고리즘을 위한 수학 없는 "가짜 코드"

다음은 신경망 알고리즘의 기본 뼈대다. 많은 변형이 가능하며 시스템 설계자들은 실정에 맞는 변수와 방법들을 추가하여야 할 것이다.

신경망 알고리즘

문제 해결을 위한 신경망을 창조하는 것은 다음의 단계들을 거친다.

자세한 설명 (마지막 것은 제외하고) 은 다음과 같다.

문제 입력

신경망에 문제를 입력하는 것은 일련의 숫자로 구성된다. 입력은 :

로 구성될 수 있다.

위상 정의

신경망을 구축하기 위해서 :
각 뉴런의 구조는 다음과 같아야 한다.

뉴런의 첫 레이어를 구축한다.

뉴런의 추가 레이어를 구축한다.

모두 M 개의 레이어를 구축한다. 각 레이어의 안에 뉴런을 구축한다.
레이어 i 에 대하여,

패턴 인식 시도

각 뉴런은 어떻게 작동하는가.

일단 뉴런이 구축되면 다음과 같이 인식을 시도한다.

다음과 같이 패턴 인식을 시도한다.

레이어 0 부터 레이어 M 까지 각 레이어에 대해서 :

그리고 각 레이어의 각 뉴런에 대해서 :

신경망을 훈련시키기 위해서

핵심적 설계 요소

위의 단순한 뼈대를 이용할 설계자들은 처음에 다음과 같은 것들을 결정해야 한다.

각 결합의 초기 시냅스 강도. 다양한 방법이 가능하다.

각 시도의 결과가 모두 정답이 아니더라도 신경망 훈련은 작동한다는 점에 주목하라. 그러므로 잘못된 예제와 실제적인 데이터를 사용해도 된다. 신경망 패턴 인식 시스템의 핵심적 성공 요인 중 하나는 훈련에 사용되는 데이터의 양이다. 만족할만한 결과를 얻기 위해서는 대개 아주 많은 양이 필요하다. 신경망이 학습을 하는 데 사용하는 시간의 양도 그 성능의 핵심적 요인이 된다.

변형

많은 변형이 가능하다.

- 제 3 의 길

재귀적 탐색의 마지막 잎사귀를 평가하는 방법에 관해서 필자는 제 3 의 입장을 취한다고 말한 바 있다. "단순한 생각" 학파는 특정 상황을 평가하기 위하여 남은 말들의 점수를 합하는 방법을 사용하였고, "복잡한 생각" 학파는 더 정교하고 시간이 걸리는 논리적 분석을 옹호하였다. 필자가 주장하는 제 3 의 길은 각각의 마지막 잎사귀를 평가하는 데에 신경망을 사용함으로써, 재귀 패러다임과 신경망 패러다임을 결합하자는 것이다. 신경망을 훈련시키는 것은 시간도 많이 걸리고 엄청난 연산이 소요되는 일이지만, 일단 학습한 패턴 인식을 수행하는 것은 "단순한 생각" 학파의 방법에 비교해도 결코 느리지 않다. 신경망은 미리 학습을 하는 데에 엄청난 양의 시간을 필요로 하는데, 금세기의 체스 명국들이 온라인으로 접근 가능하므로 이 데이터들은 신경망을 훈련시키는 데 사용할 수 있다.이렇게 훈련된 신경망은 각 마지막 잎사귀의 국면을 평가하는 데에 사용된다. 이러한 시스템은 속도면에서 수백만 배 빠른 컴퓨터의 장점과 평생의 경험으로부터 패턴 인식을 하는 사람의 능력을 결합하게 될 것이다.

필자가 딥블루의 팀장인 머레이 캠벨에게 이 방법을 제안했을 때, 그는 흥미있고 매력적인 제안이라고 받아들였다. 사실 그는 수동으로 평가 알고리즘을 조율하는 데 지쳤다고 했다. 그가 이 제안을 검토할 자문단을 구성하려고 하였을 때 IBM 은 체스 프로젝트 전체를 취소하고 말았다. 필자는 사람의 다양한 지능을 컴퓨터에 구현하기 위해서는 근본적인 패러다임을 적절히 결합하는 것이 핵심 과제라고 믿고 있다. 아래에서는 진화적 알고리즘을 활용하는 방법에 관해 논의할 것이다.

1. 진화적 알고리즘

생물학자들이 자연발생설을 무시해왔다면 그것은 우리 생물학자들이 질서의 두가지 원천에 의해 동시에 지배되는 시스템을 아직도 잘 모르기 때문이다.
우리가 생물학의 궁극 이론을 얻게 된다면, 우리는 분명히 자연발생과 자연도태의 결합을 이해하게 될 것이다. 우리는 우리들이 깊은 질서의 자연스러운 표현이라는 것을 알게 될 것이다. 결국 우리는 창조 신화 안에 우리가 이미 예고되었다는 것을 발견할 것이다.  - 스튜어트 카우프만

앞서 얘기한 것처럼 진화적 알고리즘은 생존 경쟁과 자기 복제를 하는 소프트웨어적 생물들로 이루어진다. 각 생물들은 디지털 DNA 로 암호화된 문제에 대한 정답 후보들을 나타낸다.

문제 해결에 도움이 되는 생물만 살아 남아서 다음 세대로의 재생산이 허용된다. 진화적 알고리즘은 특히 다른 패러다암과 결합할 때 강력한 힘을 발휘한다. 다음은 우리의 세 가지 패러다임을 모두 결합한 독특한 예다.

- 세 패러다임을 결합한다.

사람의 게놈은 30 억 개의 염기쌍으로 이루어져 있으며 이것은 60 억 비트의 데이터와 맞먹는다. 약간의 압축 과정을 거치면 한 장의 시디롬에 들어갈 만한 양이다. 온 가족이 자료를 DVD 한 장에 저장할 수도 있다. 그렇지만 뇌에는 100 조 개의 "연결" 이 있으며 이것은 약 3천 조 비트에 해당한다. 그러면 어떻게 염색체의 120 억 비트 데이터가 (그것도 그 중 3% 만이 활성화되어 있다는데) 뇌에 2 십만 배 이상의 정보를 만들 수 있는가?

분명히 유전 암호가 뇌에 곧바로 정보를 만들어내는 것은 아니다. 전에는 신경망을 랜덤하게 연결해서 만족할 만한 결과를 얻을 수 있다고들 하였다. 그렇지만 더 좋은 방법은 진화를 이용하는 것이다. 필자는 사람의 뇌를 만드느라 수십억 년이 걸린 그 느려터진 진화를 얘기하는 것이 아니다. 태아와 영아 시절 몇달 간의 진화를 얘기하는 것이다. 생명의 초기에 사람의 뉴런 간 결합은 생존경쟁을 벌인다. 세계를 잘 이해하는 쪽이 살아 남는다. 조금 자라면 이 결합들이 상대적으로 고정되므로 아기들을 자극적인 환경에 노출할 필요가 있게 된다. 그렇게 하지 않으면 영감의 원천인 현실 세계의 카오스를 잃고 진화는 정지해 버릴 것이다.

인공 신경망도 마찬가지다. 즉 적합한 연결을 결정하기 위하여 진화적 알고리즘을 사용한다. 이것이 바로 교또의 통신 연구소가 하고 있는 야심적인 인공 뇌 설계 프로젝트다.

다음은 세 가지 패러다임을 모두 사용하여 문제를 해결하는 방법이다.

우선, 문제를 정확하게 기술하라. 사실은 이것이 제일 어려운 과정이다. 많은 사람들은 문제를 정확하게 이해하지도 않은 채로 문제를 풀겠다고 덤빈다. 다음에는 재귀적인 방법으로 수많은 경우의 수를 검사하여 논리적 뼈대를 분석하라. 가능한 해답들의 트리에서 마지막 잎사귀를 평가하기 위해서 신경망을 사용하라. 신경망의 적합한 위상을 결정하기 위해서 진화적 알고리즘을 이용하라. 이렇게 해서 풀리지 않는 문제라면 그것은 정말 어려운 문제인 셈이다.

진화적 알고리즘을 위한 "가짜 코드"

다음은 진화적 알고리즘을 위한 기초적 공식이다. 여러 가지 변형이 가능하며 설계자는 다음에서 제시하는 변수와 방법들을 결정해야 한다.

진화적 알고리즘

N 개의 해답 "생물" 을 창조한다. 각 생물은..

진화의 각 세대에 대하여 :

핵심적 설계 요소

위의 단순한 공식을 사용함에 있어서, 설계자는 다음 사항들을 미리 결정해야 한다.

변형

많은 변형이 가능하다.