전산언어학의 기초 : 서론

 

전산언어학의 기초 : Roland Hausser 지음, 장석진, 이기용, 홍윤표, 최기선, 이민행, 윤애선, 문미선, 류병태, 은광희 옮김, 한국문화사, 2002 (원서 : Foundations of Computational Linguistics, Springer, 2001), Page 1~8

 

I. 전산언어학의 기본 목표

II. 튜링 실험

III. 엘리자 프로그램

IV. 자연언어 정보소통의 모형화

V. 파서 사용

VI. 추상의 이론적 층위

VII. 사람의 인지 분석

VIII. 내적 진리와 외적 진리

IX. 언어학적 검증

X. 경험적 데이터와 이론적 틀

XI. 슬림 언어이론의 여러 원리

XII. 도전과 해결

 

 

I. 전산언어학의 기본 목표

중국어, 영어 또는 독일어와 같은 자연언어로 정보를 전달하는 것은 사실적이고도 구조가 잘 이루어진 절차이다. 이것은 외국어를 말하는 사람들과 정보소통을 시도할 때에 분명해진다. 우리가 전달하고자 하는 정보가 우리에게는 명백하여도, 만일 청자들의 언어를 적절하게 사용하지 못한다면 청자들은 우리를 이해하지 못할 것이다.

전산언어학의 목표는 화자의 생성과 청자의 해석을 적합한 유형의 컴퓨터에 모형화함으로써 자연언어로 정보전달을 재생하는 것이다. 이것은 자연언어를 써서 자유롭게 정보소통을 할 수 있는 자동 인지기계 (로봇) 를 구축하는 일과 같다.

말하는 로봇을 개발하는 것은 가공의 일이 아니라 사실적인 과학의 과제이다. 그러나 특이하게도 여러 언어이론들은 자연언어로 정보를 소통시키는 장치를 기본적으로 모형화하는 일은 외면하고, 그 대신 지금까지 방법론 (행동주의), 생득적 이념 (생득이론), 과학적 진리 (모형이론) 와 같은 주변적 양상에 집중해 왔다.

II. 튜링 실험

컴퓨터에 자연언어 정보소통 장치를 모형화하는 일은 1950 년에 앨런 튜링 (1912 1954) 이 오늘날 튜링 실험 으로 알려져 있는 모방게임 의 형식으로 기술되었다. 이 게임에서, 질문자는 원격인쇄기를 써서 다른 방에 있는 남자와 여자 상대에게 어느 답을 남자가 했는지 그리고 어느 답을 여자가 했는지를 결정하기 위해 질문하도록 요청받는다. 그래서 정보소통 상대가 얼마나 자주 정답과 오답을 주는 것으로 질문자가 분류하는가를 계산해 낸다.

그 뒤에 두 상대 중 한 사람이 컴퓨터로 대치된다. 그 컴퓨터가 전에 남녀 상대를 써서 했을 때처럼 질문자의 추측이 정답과 오답이 똑같을 만큼 상대를 대신해서 잘 모방해 내면 이 컴퓨터는 튜링 실험에 합격하는 것이다. 이렇게 해서 튜링은 "기계가 생각할 수 있는가?" 라는 질문을 "모방게임을 잘 하는 가상적 디지털 컴퓨터가 있는가?" 라는 질문으로 대치하려고 했다.

III. 엘리자 프로그램

본래 의도한 것은, 튜링 실험은 모국어 사용자와 구별할 수 없을 만큼 자연스러운 언어행동을 갖춘 인공적 인지 행위자의 구축을 요구하는 것이다. 이것은 언어 자료와 실시간에서의 정보 소통의 기능을 완전하게 포함하는 것을 전제로 한다. 동시에, 이 실험은 언어행동과 직접 관련이 없는 모든 양상을 배제하려고 한다.

그러나, 튜링 실험은 인공적 행위자가 이 모방게임에서 성공하기 위해 어떤 인지 구조를 가져야 하는지 명시하고 있지 않다. 이 때문에, 튜링 실험의 목적을 컴퓨터에 정보소통의 기능적 모형을 마련하는 것이 아니라 질문자를 바보스럽게 만들려는 것으로 오해할 가능성이 있다. 이것이 바이쩨엔바움 (1965) 의 엘리자 프로그램에 나타났다.

이 엘리자 프로그램은 질문자를 자신에 관해 더욱 많이 이야기하라고 권장하는 정신분석학자로 모방하고 있다. 엘리자의 구조는 현재 환자의 역할을 하고 있는 질문자가 사용한 어떤 단어들을 삽입해 놓은 문장의 도형에 바탕을 두고 있다. 예를 들면, 질문자가 mother 라는 단어를 말하면, 엘리자는 Tell me more about your mother 라는 문장을 생성하기 위해 Tell me more about your ___ 라는 도형을 사용한다.

엘리자가 작동하는 방식으로 보아, 우리는 엘리자가 질문자/환자와의 대화를 이해하지 못한다는 것을 알 수 있다. 따라서, 엘리자의 구축은 정보소통의 모형이 아니다. 그러나, 엘리자와 질문자/환자 간의 대화를 수정된 튜링 실험이라고 간주한다면, 질문자/환자가 자신을 이해한다고 느끼고 정신분석학자의 역할에서 사람과 인공적 통보 상대를 구별하지 못하는 한에서 이 엘리자 프로그램은 성공적이다.

전산언어학의 목적은 자연언어의 정보소통을 사실적으로 모형화하는 것이며 엘리자 프로그램에서처럼 특정한 대화 상황에서의 특별한 제약을 추구하는 데에 기반을 둔 모방이 아니다. 따라서, 전산언어학은 (i) 자연언어의 정보소통의 장치를 이론적으로 설명해야 하며, (ii) 이 설명을 실천해서 증명해야 한다. 이 둘째 목적은 튜링 실험이 아니라 정보소통에서의 가능화를 증명해야 하는 완전하고도 일반성있는 구현으로 달성된다.

IV. 자연언어 정보소통의 모형화

말하는 로봇을 설계하는 것은 전산언어학의 기본 개념일 뿐만 아니라 철학적, 수학적, 문법적, 방법론적 양상과 그리고 프로그램하는 양상들을 개발하는 데에 훌륭한 계기를 마련해 준다. 자연언어의 정보소통 장치를 모형화하는 데에는 다음 사항들이 요구되기 때문이다.

이 요구들을 충족시키는 일은 힘들고, 조직적이고, 목표 지향적 노력을 요구한다. 그러나 노력할 만한 가치가 있는 일이다.

이론 개발 측면에서 볼 때, 말하는 로봇을 구축하는 일은 흥미로운 일인데, 전자적으로 구현된 정보소통의 모형이 외적으로는 관찰된 언어수행으로 실험되고 내적으로는 인지상태의 직접 접근에 의해 실험될 수 있는 점에서 그러하다. 기능적 모형이 단순화되어 있지만 전적으로 일반성이 있는 시스템에서 시작하여, 그 시스템에 추가적인 기능과 자연언어들이 단계적으로 추가되면서 누진적으로 개발될 수 있다는 점에서, 제한이 없는 사람과 기계의 정보소통의 실현을 지향하는 과업은 용이해진다.

실천적 측면에서 볼 때, 자연언어를 써서 무제한으로 컴퓨터와 로봇이 정보를 소통하게 되면 이들 기계와의 상호 접촉을 통해 최대한으로 사용자와 친숙하게 하고 새롭고 강력한 정보처리 방법을 허용하게 될 것이다. 이렇게 되면 인공적 프로그램언어는 기계를 개발하고 제공하는 전문가들에게 한정될 것이다.

V. 파서 사용

전산언어학에서는 파서라고 하는 소프트웨어 프로그램을 사용하여 자동적으로 자연언어를 분석한다. 파서의 사용은 언어연구의 이론적 관점, 기금의 분배, 일상 연구 실천에 영향을 미치는데, 구체적으로 다음과 같다.

전자 모형들을 실제적인 응용에서 실험하여 언어와 문법의 여러 이론을 검증하는 일은 전통언어학, 심리학, 철학, 수학적 논리학과는 분명히 다른 새로운 접근이다.

VI. 추상의 이론적 층위

현재는 사람이 전자 시스템과 비교적 자유롭게 말할 수 있을 만큼 성공적으로 자연언어의 정보소통의 기능화를 모형으로 하고 있는 전자 시스템이 없는 실정이다. 그 뿐만 아니라, 연구자들은 자연언어의 정보소통의 장치가 실제로 어떻게 작동하는지에 대해 합의를 보지 못하고 있다. 따라서 자연언어의 정보소통의 기능적 모형이 원리상 가능한가라는 질문을 할 수 있다. 이 질문에 대해 최근의 과학사에서 유추하여 답하려고 한다.

오늘날 전산언어학의 상황은 1903 년 이전의 기계 비행의 개발과 흡사하다. 수백 년 동안 사람은 어떻게 하늘을 나는가를 이해하기 위해 참새와 다른 새들을 관찰해 왔다. 그들의 목표는 새들과 마찬가지로 하늘을 나는 것이었다. 그러나 날개를 치는 것은 사람이 할 수 없다는 것이 판명되었다. 이것은 사람이 나는 것은 원칙상 불가능하다고 단언하는 견해를 갖게 하기도 했다 - 이것은 "하느님이 사람이 날도록 의도하셨다면, 날개를 주셨을 것이다" 라고 하는, 신앙심에 찬 말과 부합한다.

오늘날 사람이 하늘을 나는 것은 다반사이다. 더욱이, 우리는 점보제트기와 같은 항공역학의 원리로 참새가 하늘을 나는 것을 알고 있다. 따라서 참새와 점보제트기의 비행이 동일한 방식으로 기능을 하는 어떤 추상적인 층위가 있다.

이와 유사하게, 자연언어의 정보소통의 모형화는 사람과 인공적 인지 주체에 똑같이 적용되는 추상적 이론을 요구한다. 그래서 우리는 당연히 추상의 층위를 지나치게 낮게 아니면 지나치게 높게 설정하는 모험을 하게 된다. 중요한 것은 비행하는 경우에서와 같이 정확한 추상의 층위를 찾는 것이다.

지나치게 낮게 설정한 추상의 층위는 자판기와 같은 폐쇄된 신호체계에 잘 예시되어 있다. 그런 기계들은 자연언어 사용의 다양성, 즉 동일한 표현이 다른 맥락에서 뜻있게 사용될 수 있는 특성을 포착하지 못하였기 때문에 이론적 모형으로서는 부적합한 것이다.

반면에, 지나치게 높은 추상의 층위는 단순히 신과 사람을 동일시하려는 기대에 잘 예시되어 있다. 이를테면, 피네간의 밤샘 을 전산 시스템이 분석할 때 흡족할 만한 '적정한 이해' 를 요구하는 것은 마치 점보제트기에 짝짓기를 하고 생식하는 행동을 '적정한 비행' 으로 요구하는 것처럼 핵심에서 아주 먼 개념인 것이다.

VII. 사람의 인지 분석

기계로 비행을 하는 역사는 자연적인 새의 비행이 과학에 대해 얼마나 개념적으로 간단하고 분명한 문제를 제안해 주었는가를 보여 준다. 많은 노력에도 불구하고 이 문제는 오랫동안 해결할 수가 없었다. 궁극적으로 그 해결은 고도로 추상적인 수학이론으로 판명되었다. 이 이론은 기계 비행의 성공적 기초가 되었을 뿐만 아니라 자연 비행의 기능도 또한 설명할 수가 있게 되었다.

이것이 항공역학의 추상적 이론이 자연을 새롭게 이해하도록 이끌어간 이유이다. 일단 복엽 비행기, 터보플로펠러기와 제트기의 발전이 비행 원리에 대한 보다 나은 이론적, 그리고 실용적 이해를 가져오게 되면서, 동물의 경이적인 효율성과 힘을 파악하기 위해 그 자연 비행에 다시 관심의 초점을 맞추게 되었다. 이것은 다시 인공 비행을 크게 개선하게 하였고, 그 결과 잡음이 덜 나고 연료를 더 절약하는 비행기가 나오게 되었다.

전산언어학에 응용하였을 때, 이 유추가 설명해 주는 것은 고도로 추상적이고 기술적인 우리의 접근이 인간의 언어능력에 대한 결여된 흥미를 암시하는 것이 아니라는 점이다. 반대로, 인간의 언어를 통한 정보소통 장치가 전산적으로 모형화되고 대량의 데이터에 구체적으로 적용되어 그것이 성공적이라는 것이 증명된 이후에만 인간 언어의 정보소통의 구체적인 특성들을 살피는 것이 이론적으로 의미가 있다.

VIII. 내적 진리와 외적 진리

과학에서 우리는 내적 진리와 외적 진리를 구별한다. 내적 진리란 과학자들이 어떤 현상들을 설명하기 위해 발전시키고 사용하는 개념적 모형이며, 일정 기간 동안 사회의 연관 부분들에서 참인 것으로 취급된다. 전체 이동에 대한 톨레미 (지구 중심) 의 관점이나 원자에 대한 보어의 모형이 이에 속하는 예들이다.

외적 진리란 인지의 주체가 있든 말든 상관없이 존재하는 외부 현실의 있는 그대로의 사실들이다. 이 사실들은 어느 정도 정확하게 측정될 수 있고 개념모형을 써서 설명할 수 있다.

과학의 개념적 모형들은 역사의 과정 속에서 급격히 변화하기 때문에, 내적 진리는 가설로 보아야 한다. 이것들은 충분한 양의 실제 데이터로 나타나서 진리의 체계적 기술에 도달하는 데에 유용한 정도가 어느 정도인가에 따라 정당화된다.

특히 자연과학에서는 내적 진리는 지난 5 세기 동안에 극적으로 개선되었다. 이것은 개념적 (하위) 모형들의 보다 큰 수학적 정밀성과, 보다 큰 기능적 응집성의 형식으로 제시된 이론적 통합면에서 뿐 아니라 이론적 예측과 데이터 사이의 밀착도의 증진으로 나타났다.

이와 대조적으로, 현대언어학의 특징으로는 많은 이질적인 언어이론과 엄청난 수의 경합적인 문법이론이 보여 주듯, 이론적 통합의 결여를 들 수 있다. 그러나 자연과학에서처럼 언어학에도 외적 진리는 있다. 이것은 경험적 데이터의 적용 범위와 기능적 모형화로 근접시킬 수 있다.

IX. 언어학적 검증

내적 진리와 외적 진리의 관계는 검증방법에 의해 설정되어 있다. 자연과학의 검증방법은 '실험은 반복될 수 있어야 한다' 는 원리에 있다. 이것은 동일한 시작 조건이 주어졌을 때 동일한 측정이 반복해서 일어나야 함을 의미한다.

한편으로는 이 방법에 문제가 있다. 그 이유는 경험적 데이터가 다른 방식으로 해석될 수도 있고 그로 인해 이들 데이터가 다른 가설들 심지어는 상충하는 가설들을 밑받침하게 될 수도 있기 때문이다. 하지만 이런 경우는 아주 적어서 자연과학의 당당한 어떤 이론도 지금에 와서는 이를 거부할 수 없다. 따라서 실험의 반복성은 자연과학에서 건설적이고 경쟁력 있는 힘을 행사하고 있다.

과학적 진리를 달성시키는 또 하나의 양상이 수리논리학의 전통에서 발전해 왔다. 이것이 공리화의 방법과 규칙에 기반을 둔 정리 (theorem) 도출의 방법에서 실현되는 형식적 일관성의 원리이다.

그 자체만으로 볼 때, 공리 체계의 형식에서 수학적 직관의 준기계적 재건은 과학적으로 측정된 사실과는 분리된다. 그러나 자연과학 이론의 논리적 기초로서 공리화의 방법은 반복가능한 실험의 원리를 도와서 상보하는 것으로 증명되었다.

언어학에서는 이에 대응하는 검증의 방법이 아주 결여되어 있다. 이런 단점을 보완하기 위해 언어학을 자연과학이나 수리논리학의 한 분야로 재모형화하는 시도가 되풀이되어 왔다. 그러나 이런 시도는 다음과 같은 이유로 인해 실패하게끔 되어 있다.

다행히도 언어학의 방법론적 기초에 도달하기 위해 인접 과학들에서 빌려올 필요는 없다. 그 대신 언어와 문법의 여러 이론들은 자동적으로 임의의 대량의 실제 데이터와 직각적인 사람-기계의 정보소통이라는 실제 응용에 전자적 모형으로 구현되어야 한다. 언어이론이 객관적으로 옳고 그르다는 증명 방법은 전산언어학에 특정한 것이며 이것은 자연과학에서의 실험의 중복성에 비견할 수 있다.

X. 경험적 데이터와 이론적 틀

전산언어학의 방법론은 경험적 분석의 목표를 정의하고 구성부문들이 서로 상충하지 않고 중복되지 않고 내포될 수 있는 틀을 제공하는 언어이론을 전제로 한다. 이러한 틀의 발전은 과학의 역사에서 되풀이되는 것을 목격하였듯이 아주 어렵다.
예를 들면, 천문학의 초창기에 과학자들은 전체 이동을 설명하기 위한 틀과 그런 틀에 기반을 두고 정확히 예측하기 위한 기능적 틀을 마련하려고 오랫동안 씨름해왔으나 헛된 일이었다. 비교적 최근에 와서야 케플러 (1571 - 1630) 와 뉴톤 (1642 - 1727) 이 처음으로 경험적으로는 정밀하고 기능적으로는 간단히 기술하는데 성공했다. 그러자 이것은 천문학의 이론에 극단적 혁명을 일으켰다.
이 혁명은 구조적 가설 (지구중심에서 태양중심으로의 이동), 기능적 설명 (투명한 천체에서 공간의 인력으로의 이동), 수학적 모형 (복잡한 본륜 (epicycle) 의 체계에서 생략의 형식으로 이동) 에 영향을 미쳤다. 더 나아가, 천문학의 새 시스템은 추상적 층위에서 구축되었으며 이 층위에서 볼 때 사과가 떨어지는 것과 달이 궤도를 도는 것은 하나의 동일한 일반 원리들이 개별적으로 구현된 집합인 것이다.

언어학에서는 오랫동안 이에 대응하는 과학적 혁명이 일어나지 않았다. 경험적 데이터와 이론적 기술이 목표는 천문학에 뒤지지 않고 분명하지만, 언어학은 비교할 만한 포괄적이고 검증할 수 있고 기능적인 언어이론의 형식으로 통합을 이루지 못하였다.

XI. 슬림 언어이론의 여러 원리

자연언어의 정보소통의 분석에 있어서 그 구조는 가장 일반적인 종류의 방법론적, 경험적, 존재론적 그리고 기능적 원리들로 이루어져야 한다. 이 책에 제시한 언어의 슬림 이론은 표층합성적, 선형적, 내적 맞추기에 기반을 두고 있다. 이들 원리는 다음과 같이 정의된다.

이 원리들은 광범위한 다른 영역에서 (방법론, 존재론 등) 비롯한다. 그러나 언어의 슬림 이론 안에서 이 원리들은 서로 밀접히 작용하고 있다. 예를 들면, 전체적인 시스템이 인지적 주체의 (3) 의 내적 절차에서처럼 존재론적으로 취급된다면 (4) 의 맞추기 기능적 원리는 컴퓨터에서만 구현될 수 있다. 더욱이, (1) 의 표층합성성의 방법론적 원리와 (2) 의 시간선형적 경험적 원리는 전반적인 이론이 내적 맞추기 (3, 4) 에 기반을 두고 있을 때에만 정보소통의 기능적 장치 안에서 실현될 수 있다.

글자의 해석에 더하여, 슬림 (SLIM) 이라는 약자는 '날씬한 (slender)' 과 같은 의미의 단어 구실을 한다. 그 이유는 구체적인 수학적 전산적 조사가 - 현존하는 여러 대안들과 상대적으로 비교할 때 그리고 수학적 복잡성 이론의 형식 원리들과 절대적으로 부합할 때 - 통사론, 의미론, 화용론 분야에서 슬림 이론이 효율적이라고 판명되었기 때문이다.

XII. 도전과 해결

언어의 슬림 이론은 사람과 적합하게 구성된 인지적 기계의 자연언어를 통한 정보소통이 표층 합성적, 선형적, 내적 맞추기라는 동일한 원리들로 설명되는 추상의 층위에서 정의된다. 이것은 자연언어의 무한정한 사람과 기계의 정보소통을 위한 중요한 전제 조건이다. 이 실현은 다음 분야에서 일반성있고 효율적인 해결을 요구한다.

첫째, 청자의 자연언어 이해가 모형화되어야 한다. 이 절차는 명제를 자동적으로 데이터베이스로 읽어들이는 것으로 실현되고 - 가장 중요한 것은 - 저장과 검색의 정확한 위치를 결정하는 것이다 (23 장). 의미적 원소들의 기초가 자연적이거나 인공적인 인식과 행동으로 처리된다.
둘째, 화자가 언어로 표현하는 내용을 어떻게 결정하는가를 모형화해야 한다. 이 절차는, 전통적으로 개념화라고 불렀는데, 데이터베이스의 내적 명제를 자율적으로 항해하여 실현된다. 따라서, 말의 산출은 '말은 발화된 사상 (Speech is verbalized thought)' 이라는 표어에 걸맞는 항로의 방향 반사 (내적 맞추기) 로 취급된다 (24 장).
셋째, 화자와 청자는 그들 고유 데이터베이스의 내용에 기반을 두어 추론을 끌어낼 수 있어야 한다. 추론은 결과적으로 새 명제를 도출하는 자율적인 시간선형적 항해의 특수형으로 실현된다. 추론은 자연언어의 화용적 해석을 위해 청자와 화자에게 중요한 역할을 한다 (24.5 절 참조).

시간선형적 항해의 형식적 기반은 단어 토큰의 집합으로 전산망 데이터베이스에 저장된 접합된 명제들로 구성된다. 단어 토큰이란 명제 내에서 그리고 그 명제에서 다른 명제들로 연결되는 다른 단어 토큰으로의 가능한 계속을 명시하는 특성을 가진 자질 구조이다. 이 새로운 구조는 단어은행이라 불리고 심적인 초점의 항해를 위한 '철도의 선로' 를 마련한다. 이 항해는 한 단어 토큰에서 다음 것으로 가능한 계속을 계산하는 적합한 LA 문법 (모터 알고리듬) 에 의해 발동되고 제어된다 (24.2 절 참조).

단어은행과 그 모터 알고리듬은 슬림-기계라고 부르는 인공적 인지 주체의 중앙 처리 단위를 구성한다. 단어은행은 슬림-기계의 인식과 행동을 거쳐 외부 현실에 연결된다. 언어적 비언어적 지각의 해석은 결과적으로 단어은행으로 읽어들인 접합된 명제들을 가져온다. 언어적 비언어적 행동의 자율적 항해를 한 일부 명제들을 실현하는 데에 기반을 둔다.