언어정보 입력 : 태깅, 파싱

 언어와 컴퓨터 : Geoff Barnbrook 저, 유석훈 옮김, 고려대학교 출판부, 1999 (원서 : Language and Computers, Edinburgh Univ. Press, 1996), Page 146~176

1. 언어정보 입력

2. 주요 분석분야

     2.1 통사분석

     2.2 중의성 제거

3. 분석의 자동화

     3.1 태깅

     3.2 파싱

     3.3 중의성 제기

4. 문제의 축소 : 하위언어 (SUBLANGUAGE)

     4.1 하위언어

     4.2 하위언어 방법

5. 말모둠 연구기술의 발전

     5.1 태깅의 이용

6. 자연언어처리와 자연언어이해

1. 언어정보 입력

지금까지 논의한 분석도구들은 언어적 내용과는 거의 상관이 없었다. 빈도 목록과 문맥행 추출 방법은 둘 다 패턴일치를 이용하고 연어분석은 단순히 문맥행 추출작업 결과의 일부를 이용하여 빈도목록을 작성하여 그것으로 몇 가지 비교적 간단한 통계계산을 실행한다. 언어이론모형이나 설명모형은 일반적으로 결과해석을 위해서 제한적으로 사용되었다. 그럼에도 불구하고 아니 어쩌면 그로 인해서 이 도구들은 일반적으로 텍스트 연구에서 매우 강력하고 효과적인 도구로 사용되어 왔다. 연구대상언어나 텍스트 유형에 대한 구체적인 언급이 없다는 것은 같은 소프트웨어를 광범위한 언어와 텍스트 유형에 이용할 수 있다는 것, 즉, 언어유형에 제한받지 않고서 이용할 수 있다는 것을 의미한다. 그러나 추가입력 없이는 이 도구들만으로는 특정  언어 모형에 근거하여 말모둠을 구성하는 특정언어에 대한 구체적인 분석을 할 수 없고, 또 이런 종류의 분석을 통해서 제공되는 정보를 이용할 수 없다는 것이다. 이 한계점에 대해서는 3 장, 4 장 그리고 5 장에서 기본도구들에 대해서 설명하면서 이미 언급한 바 있다. 예를 들어서 빈도목록의 구조를 조정하는데 있어서 단어소 작성작업을 유용한 도구로 제안했고, 또 철자변이형을 정확히 처리할 수 있는 규칙들을 세 가지 방법 (빈도목록, 문맥행 추출, 연어분석) 에 포함시킬 것을 제안하였다. 이 두 가지에 다 기본 소프트웨어에 텍스트 언어에 대한 자세한 정보를 추가시켜야 한다. 통사속, 즉 어휘패턴이 아닌 통사패턴에 대한 연구를 하기 위해서는 말모둠 내에 단어들에 대한 정보를 추가해야 한다.

일반적으로 텍스트에 대한 자세한 언어분석 결과에 대해서 컴퓨터에 자료가 포함되어 있어야 더 복잡한 형태의 연구를 할 수 있다. 이 장에서는 이런 유형의 정보를 컴퓨터에 제공하는 방법 및 그 정보의 이용방법에 대해서 논의하겠다. 2 항에서는 주요 분석방법을 논의하고 그 작업을 수작업으로 수행하는 방법을 살펴본다. 3 항에서는 분석의 자동화 문제와 그에 관련된 문제들을 논의한다. 4 항에서는 하위언어 (sublanguage) 에 대해 설명하고 이 방법이 문제해결에 어떤 기여를 할 수 있는지 살펴본다. 마지막으로 5 항에서는 텍스트 검색방법에 이 추가정보들이 어떤 기여를 하는지 살펴본다.

2. 주요 분석분야

일반적인 연구에 있어서 언어정보를 추가적으로 제공할 수 있는 가장 중요한 분야는 통사론과 의미론 분야이다. 말모둠 텍스트에서 찾아볼 수 있는 모든 의미 및 통사구조는 컴퓨터에 추가로 입력시킬 수 있는 최상의 정보이다. 아무리 임시적인 방법이라고 해도 텍스트 언어가 갖는 통사의미 자질에 대해서 최대한 설명할 수 있어야 한다. 2.1 항에서는 통사분석의 일반원리에 대해서 설명한다. 그리고 2.2 항에서는 중의성 제거를 위해 이용할 수 있는 방법들에 관해서 간략히 살펴본다.

2.1 통사분석

특정형태의 통사분석을 위해서는 이용할 언어학 이론 모형과 그 모형으로 분석하려고 하는 텍스트의 관계를 자세히 설명해야 한다. 통사분석과 관련된 일들은 컴퓨터와 관련된 제반 사항들과는 별도로 고려해야 한다. 우선 분석유형을 결정해야 한다. 다음 문장 Frankenstein 텍스트에서 발췌한 것인데 이미 앞에서 몇 번 예로 제시된 것이 있다 :

    You will smile at my allusion, but I will disclose a secret.

이 문장을 분석하기 전에 먼저 언어학 이론 모형을 선택해야 한다. 설명을 가능한 한 분명하게 하기 위해서 Halliday 이론에 기초한 간단한 절 분석모형에 의거하여 문장 내의 절은 다음 구성요소들로 구성되어 있다고 보겠다.

• 술어 (predicator)
• 주어 (subject)
• 보어 (complement)
• 부가어 (adjunct)

이 문법분석모형과 용어들에 대한 구체적인 설명은 Halliday (1985) 와 Malmkjær (1991) 를 참고하길 바란다. 문장분석을 통해 그 문장에 포함되어 있는 절의 숫자를 세고, 각 절에 포함되어 있는 단어들에 적절한 구성요소 명칭을 부여하게 된다.

분석에 앞서서 텍스트내 개별단어들의 자질에 대한 구체적 지식이 필요하다. 이것은 모든 해당언어 사용자들이 그 언어를 사용할 때마다 필요로 하기 때문에 이미 잘 알고 있는 것이다. 그러나 특별히 언어학을 공부하지 않았다면 이 지식에 대한 자세한 내용을 의식하고 있지는 못할 것이고, 그것을 명백히 기술하는 데에 어려움을 겪게 될 것이다. 일상생활에서 언어를 사용하는 데에 있어서 실행하게 되는 구체적인 처리과정은 그 동안의 오랜 연구에도 불구하고 아직 많은 부분이 문헌상으로 밝혀져 있지 않다. 이 점에도 불구하고 이런 형식의 분석을 위한 실용적인 방법을 생각할 수는 있다.

먼저, 분석과정을 두 단계로 나누는 방법을 일반적으로 많이 이용한다. 첫 번째 단계에서는 개별단어의 언어자질을 밝히고 단어 상호간의 기능을 평가한다. 일반적으로 이 첫 번째 단계는 태깅 (tagging) 그리고 두 번째 단계는 파싱 (parsing) 이라고 부른다. 이 장 전체를 통해서 그 용어들을 이런 의미로 사용하기로 한다. 그러나 태깅은 3 항에서 설명한 바 있듯이 중의성 제거를 위해 정보를 추가하는 것을 의미하는 용어로 그리고 '파싱' 은 일부학자들이 전체 분석과정을 의미하는 용어로 사용하기도 한다.

2.1.1 태깅

태깅에 의해 개별단어에 부가되는 정보는 보통 단어부류나 품사에 관한 정보들이다. 먼저, 앞에서 예로 든 텍스트는 다음 개별단어들로 구분된다.

    You
    will
    smile
   at
   my
   allusion
   ,
   but
   I
   will
   disclose
   a
   secret
   .

흔히 구두점도 텍스트 분석에서는 중요하기 때문에 쉼표 (comma) 와 마침표 (full stop, period) 도 별개의 단어로 처리했다. 이 항목들의 품사정보도 배정할 수 있다. 이 정보를 가장 간단히 찾을 수 있는 곳은 사전으로서 각 단어에 대한 내용을 옮기면 된다. 그래서 다음과 같이 Collins Cobuild English Dictionary (1995) 의 문법표식을 이용하여 품사를 구분하였다.

품사정보는 일반단어들과 쉽게 구분되게 하기 위해서 고딕체로 표기했다. 사전에는 구두점에 대해서 ('쉼표' 와 '마침표' 로 소개되어 있는 것 외에는) 아무 정보도 들어 있지 않으므로 임시로 '구두점 (PUNCTUATION)' 이라는 명칭을 붙였다.

앞의 목록에서 항상 모든 단어들이 단일 품사명을 갖고 있지 않음을 알 수 있다. 예컨대 smile 은 동사일 수도 있고 가산명사일 수도 있다 ; secret 은 명사나 형용사일 수 있다 ; will 은 양태사 (modal), 명사 혹은 동사일 수 있다. 이 중의성의 문제는 나중에 문장을 파싱할 때 중요하게 작용한다.

2.1.2 파싱

태깅과정에서 부가된 품사정보는 개별단어들의 기능을 말해준다. 문장을 파싱하기 위해서는 문장을 구성하는 개별단어들의 기능을 먼저 알아야 한다. 절의 가장 중요한 구성요소는 술어인데 이것을 먼저 찾아내는 것이 좋다. 등위 접속사로 태깅된 but 앞에 오는 쉼표는 문장 내에 두 개의 절이 있으며 두 개의 술어가 필요하다는 것을 말해준다. 술어는 동사의 집단으로 실현되는데 단어들 중에서 여기에 속하는 것을 찾아내는 것이 좋을 것이다. 가능성은 다음과 같다 :

해당언어의 사용자에게는 품사태깅의 중의성이 거의 아무런 문제도 되지 않는다. 그러나 컴퓨터에 있어서는 이런 중의성을 제거할 수 있는 방법이 없다면 심각한 문제를 일으킬 수 있다. 텍스트에 포함되어 있는 정보를 근거로 하여 중의성을 제거할 수 있는 방법이 있다.

먼저 첫 번째 나오는 will 을 보면 대명사로 태깅되어 있는 You 가 바로 앞에 와서 그것이 명사가 아니고 동사라는 것을 말해주고 있다. 동사일 가능성이 있는 smile 이 바로 그 단어의 뒤에 와서 양태적인 해석을 가능하게 해주고 있다. 이를 대신해서 smile 을 가산명사로 보는 것은 만일 smile 이 will 의 보어로 온다면 a 나 the 같은 한정사와 함께 와야 한다는 사실 때문에 별로 가능성이 없다. 이리하여 처음에 오는 술어는 will smile 이라는 것을 알 수 있다. 두 번째 나오는 will 의 바로 앞에 나타나는 I 는 대명사인 You 와 동일한 방법으로 해석할 수 있다. 그리고 아무런 중의성도 없는 동사인 disclose 가 뒤따라 와서 will 을 양태로 해석하게 해준다. 따라서 두 번째 술어는 will disclose 이다.

일단 절의 술어를 찾으면 남은 단어들에 붙여진 태깅은 계속해서 파싱하는 것을 상당히 수월하게 해준다. 주어 You 나 I 는 이미 will 의 중의성 해결과정에서 그 자질이 밝혀졌다. smile 바로 뒤에 오는 전치사 at 는 부가어를 도입하기 위한 것으로 볼 수 있고, 소유 한정사인 my 와 명사인 allusion 은 쉼표가 와서 절의 끝임을 표시하기 전에 그 절을 완결해주는 역할을 한다. 두 번째 절에서 남은 단어들은 한정사 a 와 명사나 형용사일 수 있는 secret 인데, 이 단어들은 아주 쉽게 해결할 수 있다. 한정사의 뒤에 오고 아무런 명사도 뒤에 오지 않는다면 secret 는 가산명사라는 것과 명사집단인 a secret 는 will disclose 의 보어임을 알 수 있다. 최종 파싱 결과는 다음과 같다.

	[You] 주어 [will smile] 술어 [at my allusion] 부가어		첫 번째 줄
[, but] 절 연결어
	[I] 주어 [will disclose] 술어 [a secret] 보어		두 번째 절
[.] 문장 끝

만일 이 분석을 큰 텍스트 파일이나 말모둠을 대상으로 수작업으로 한다면 많은 시간과 노력이 소요될 것이다. 왜냐 하면, 앞의 예는 아주 간단한 문장이기 때문이다.

2.2 중의성 제거

통사구조만이 필요한 정보인 것은 아니다. 영어의 동형어는 기본 말모둠 연구도구의 유용성에 영향을 미치는 주요문제들중의 하나이다. 3 장의 2.2.3 항에서는 빈도목록에서 그리고 4 장의 4.2 항에서는 문맥행 추출에 있어서 그리고 마지막으로 5 장의 5.1 항에서는 연어분석에 있어서 이 문제로 인해서 야기될 수 있는 여러 문제들에 대해서 살펴보았다. 이 문제들의 극복을 위해서는 동일한 문자열이 가질 수 있는 상이한 의미들을 소프트웨어로 구분할 수 있는 방법이 필요하다. 소규모 텍스트인 경우에 가장 간단한 방법은 수작업으로 각 단어마다 중의성 제거용 태깅을 하는 방법이다.

한 예로, Frankenstein 텍스트에서 발췌한 다음 문장들을 살펴보자 :

1. I profited of this time to rest for a few hours.

2. Among these there was one which attracted my mother far above all the rest.

3. For this I had deprived myself of rest and health.

각 문장에는 rest 라는 단어형태가 각기 다른 의미로 사용되고 있다. Collins Cobuild English Dictionary (1995) 에 나와 있는 이 단어의 다양한 의미를 살펴보면 다음과 같다 :

1. If you rest of if you rest you body, you do not do anything active for a time. (rest 2, sense 1)

2. The rest is used to refer to all the parts of something or all the things in a group that remain or that you have not already mentioned. (rest 1, sense 1)

3. If you get some rest or have a rest, you do not do anything active for a time. (rest 2, sense 2)

일단 텍스트에 나타나는 단어형태들에 대한 적절한 의미를 찾게 되면 그 단어형태에 부가된 표식에 의해서 해당의미가 전달되게 된다. 설명의 편의를 위하여 주석을 붙인 다음 예에서는 텍스트 출현순서대로 앞의 예문에서 찾아낸 세 가지 의미와 연관하여 간단한 숫자표식을 붙였다. 태깅된 단어형태는 쉽게 볼 수 있도록 볼드체로 표시했다 :

I took refuge in the courtyard belonging to the house which I inhabited, where I remained during the rest_2 of the night, walking up and down in the greatest agitation, listening attentively, catching and fearing each sound as if it were to announce the approach of the demoniacal corpse to which I had so miserably given life.

Mingled with this horror, I felt the bitterness of disappointment ; dreams that had been by food and pleasant rest_3 for so long a space were now become a hell to me ; and the change was so rapid, the overthrow so complete!

We returned again, with torches ; for I could not rest_1, when I thought that my sweet boy had lost himself, and was exposed to all the damps and dews of night ; Elizabeth also suffered extreme anguish.

대규모 통사분석의 경우와 마찬가지로 이 작업은 상당히 복잡하고 또 시간이 많이 걸린다. 특히 몇몇 개별단어의 중의성 제거 이상의 작업을 해야 할 경우에는 더 말할 나위도 없다. 이 작업을 신속하게 할 수 있는 몇 가지 방법들을 이용할 수 있다. 예를 들어서, 위의 예에서 첫 번째 의미가 두 번째 혹은 세 번째 의미와 문법적으로 다르고, 또 만일 텍스트의 통사태깅을 마친뒤라면 이 작업으로 해야 할 작업들 중의 일부를 이미 완료했을 수도 있다. 중의성 제거는 4 장의 2.5.3 항에서 제안했듯이 의미차이를 밝혀내기 위한 보조수단으로서 문맥행 추출 프로그램을 이용하면 훨씬 효과적으로 할 수 있다. 그러나 어떠한 종류의 작업이라도 수작업에 의한 중의성 제거작업을 하는 데 있어서 텍스트의 크기가 크다면 많은 시간과 노력이 소요될 수밖에 없다.

3. 분석의 자동화

2 항에서 기술한 분석방법들은 수작업을 이용한 것들이다. 통사태깅 과정에서 문장에 포함되어 있는 개별단어별로 사전을 참고하고, 가능한 품사범주도 입력하였다. 파싱 과정에서 이 품사들은 절경계를 찾고 단어들을 절 구성요소로 배정하기 위해서 이용할 수 있다. 중의성 제거를 위해서는 중의적인 단어형태가 나올 때마다 가능한 여러 의미들을 대조해 보고 문맥을 근거로 하여 그 중 하나를 선택하여 그 단어에 적절하게 명칭을 붙였다. 만일 이 작업을 자동으로 수행할 수 있다면 그것은 더할 나위 없이 좋을 것이다. 3.1 항에서 3.3 항까지는 이 자동화 과정에서 생길 수 있는 문제점들을 살펴본다.

컴퓨터를 몇 가지 단계로 나누어서 이용하는 방법을 고려할 수 있다. 어떤 극단적인 단계에서는 자세한 언어분석을 수작업으로 하게 될 수도 있다. 그런 다음에 그 결과를 단순히 순서대로 정리하고 요약하기 위해서, 혹은 그 결과를 가지고 추가조사를 할 수 있게 하기 위해서 컴퓨터를 이용할 수 있다. 만일 이 방법을 채택한다면 아무런 소프트웨어도 별도로 필요하지 않다. 3 장에서 5 장까지 설명한 빈도목록, 문맥행 추출 프로그램 그리고 연어작업용 도구 프로그램들을 수정하여 수작업으로 입력한 표식들을 인식하게 하면 된다. 또 한편으로는 컴퓨터를 이용하여 어느 정도, 혹은 전체분석을 자동으로 실행할 수도 있다. 이 방법은 상대적으로 복잡한 해당언어 전용 소프트웨어가 필요하다. 다음 세 항에서는 주요방법들 세 가지를 간단히 소개한다.

3.1 태깅

2.1 항에서 설명한 수작업의 자동화는 얼핏 보면 너무나도 많은 어려움이 따르는 것 같다. 사전의 정보는 컴퓨터로 읽어들일 수 있는 형태로 저장할 수 있다. 그리고 텍스트에 포함되어 있는 각 단어마다 문법표식을 검색하여 그것을 태그로 사용한다. 이렇게 하면 2.1 항에 나타난 것과 같은 결과를 작성할 수 있는데, 어떤 단어들의 경우에는 하나 이상의 태그가 붙게 되어 문제시될 수 있다. 만일 중의성이 없는 태그가 필요하다면 소프트웨어를 사용하여 약간의 작업을 해야 한다. 이외에도 다른 복잡한 문제가 있다. 사전에서 단어를 찾는 일은 만일 찾고자 하는 모든 단어가 그 사전에 들어있고, 목적에 맞게 문법표식에 대한 자세한 설명이 되어 있다면 아무 문제가 없다. 2.1 항에서 분석했던 문장의 경우 이것은 문제가 되지 않았다. 그러나 텍스트에서 찾아볼 수 있는 모든 단어들이 포함되어 있는 사전은 없다.

한 극단적인 예로 Lewis Carroll 의 Through the Looking-glass 라는 작품중의 'Jabberwocky' 라는 시의 첫 연 (stanza) 을 살펴보자.

    'Twas brillig, and the slithy toves
           Did gyre and gimble in the wabve ;
     All mimsy were the borogoves,
                   And the mome raths outgrabe.

이 텍스트에서 몇 단어들은 어느 사전에도 없다. 왜냐하면 이 시에만 특별히 나타나는 것들이기 때문이다. 심지어는 Oxford 영어사전에도 이 단어들이 다 수록되어 있지 않다. 예를 들어서, slithy 나 toves 는 있지만 brillig 나 borogoves 는 없다.

이 예는 적절한 예는 아닐 지 모른다. 그렇지만 다음 예를 보자 :

The output power of each carrier divided by the intermodulation noise temperature in the frequency bandwidth of the carrier is the C/T intermodulation ratio that is used in link budget calculations.

이 문장은 ITU 말모둠 중의 Handbook on Satellite Communications 의 2 장에서 발췌한 것이다. 다시 말하지만 이 문장에 쓰이는 모든 용어들을 다 수록해 놓은 일반사전은 없다. 텍스트의 모든 단어들을 수록한 새 사전을 만드는 일은 가능하기는 해도 아주 방대한 작업이 될 것이다. 이 문제를 극복하기 위해서 태깅작업용 프로그램에는 흔히 사전에 수록되어 있지 않은 단어들의 품사를 추측하게 할 수 있는 특별한 프로그래밍 단계가 있다.

이미 알려진 단어와 그렇지 않은 단어들을 자동으로 태깅하는 프로그램을 이용하여 얻은 결과를 살펴보기 위해서 COBUILD 사전 프로젝트 초기에 개발된 태깅 프로그램의 결과를 견본으로 살펴보자. 먼저 2.1 항에서 수작업 태깅의 예로 사용되었던 Frankenstein 에서 발췌한 문장을 사용하였다.

PN MOD VB PREP D N #

You will smile at my allusion ,

LNK PN MOD VB D ADJ .

but I will disclose a secret .

사용된 명칭들은 수작업에서 사용했던 것들보다 더 축약되어 있다. 그러나 본질적으로는 동일하다. 사용된 약어들은 다음의 뜻으로 쓰였다.

# PN PREP VB .

마침표 이외의 구두점 대명사 전치사 동사 마침표

N ADJ D LNK MOD

명사 형용사 한정사 연결사 양태

물론 이 약어들은 중의성은 없다. will 은 양태를 나타내는 단어로 그리고 smile 은 마찬가지로 분명히 동사로 태깅이 되어 있다. secret 은 태깅하기가 약간 어색하다. 그러나 이 경우에 이 단어를 형용사로 잘못 태깅한다고 해도 파싱 과정에는 아무런 영향도 주지 않는다.

다음에서 Lewis Carroll 의 독특한 문장을 가지고 살펴보자. 비록 분석이 완전하지는 않아도 태깅 프로그램을 이용하여 태깅을 하였다 :

-S ?? # LNK ADJ NPL VB ?? LNK VB PREP D N

Twas Brillig , and slithy toves Did Syre And Bimble In The Wabe

# D N COP NPL # LNK D ADJ NPL ?? .

; All mimsy were borogoves , And the mome raths outgrabe .

이 분석에서는 새롭지만 그 용도가 아주 분명한 두 가지 태깅명칭이 사용되고 있다 :

COP NPL

계사로 사용되는 동사 to be 복수명사

그리고 두 개는 그 용도가 불분명하다.

-S ??

-s 로 끝나는 단어로 복수명사일 수도 있고 3 인칭 단수 동사형일 수도 있음 불분명함

입력자료의 성격을 생각해보면 태깅은 상당히 잘된 것 같다. slithy, toves, gimble, wabe, borogoves, mome 그리고 raths 와 같은 엉뚱한 단어들은 모두 정확한 태깅이 되어 있는 것 같다. 물론 이 단어들이 특별히 만들어진 것임에도 불구하고 그 정확성을 평가할 수는 있다. 왜냐하면 텍스트에는 단어들의 부류를 상당히 분명하게 보여주기에 충분한 구조들이 포함되어 있기 때문이다. 태깅 프로그램은 brillig 와 gyre 라는 단어들에 대해서는 태깅을 못했는데, 이는 twas 주변의 불분명한 문맥과 gyre 앞에 오는 did 로 인해서 혼동이 일어났기 때문이다. 그리고 outgrabe 라는 단어도 태깅을 못했다. all 을 한정사로 태깅한 것은 잘못된 것 같다. 그 결과 mimsy 를 형용사가 아닌 명사로 태깅하게 되었다. 어순이 바뀐 것이 아마도 부분적으로 이 실수와 관련이 있는 듯하다.

태깅 프로그램을 이용하는 경우에 기술서적에 나타나는 문장을 태깅할 때에 이와 비슷한 문제들을 겪게 된다. 다음을 보자 :

D N ?? PREP ADJ N VT PREP D N N N PREP D N ?? PREP

The output power of each carrier divided by the intermodulation noise temperature in the frequency bandwidth of

D N COP D ADJ N N N CJ AUX PAP PREP ADJ N NPL .

the carrier is the C T intermoulation ratio that is used in link budget calculations .

이 예에서 새로 소개된 태깅표식은 다음과 같다.

AUX CJ PAP

조동사 접속사 과거분사

 power 와 bandwidth 의 두 단어에만 불분명한 경우에 사용하는 태깅표식인 '??' 가 사용되었다. 아마도 이 단어들이 명사 바로 뒤에 나오기 때문에 그렇게 된 것 같다. 특징이라면 비율을 표현한 C/T 에서 앞의 C 는 형용사로 그리고 뒤의 T 는 명사로 태깅하고, 또 link 를 형용사로 태깅했다는 사실이다. 첫 번째 예문에서처럼 이들은 파싱 단계에서는 중대한 문제를 야기시키지는 않는다.

어느 정도까지는 태깅을 자동화시킬 수 있을 것 같다. 앞에서 설명한 몇 가지 프로그램들은 명백한 표식을 붙이게끔 제작되어 있다. 그러나 표식 선택과정에서 희귀한 문맥이나 잘 알려져 있지 않은 단어들로 인해서 잘못 선택될 수도 있다. 2.1 항에서 보았던 수작업 태깅에서처럼 단순히 가능한 품사의 범위만을 배정하는 프로그램들은 그 성격상 더욱 정확한 결과를 얻을 수는 있으나 파싱 단계에서 더 많은 문제들을 야기시키게 된다. 자동태깅의 가장 큰 장점은 특히 큰 말모둠을 처리할 때 엄청난 시간을 절약할 수 있다는 것이다. 가장 큰 단점은 프로그램이 텍스트 특성에 맞추어서 적절하게 설계되어 있지 않은 경우에 소프트웨어가 일관된 실수를 범할 가능성이 있다는 것이다.

3.2 파싱

자동파싱은 자동태깅보다 훨씬 더 복잡한 경향이 있다. 비록 현재 많은 프로그램들이 다소간의 제한된 텍스트 상에서 상당히 정확하게 작동한다는 것을 자랑으로 내세우고는 있지만 전혀 조작되지 않은 영어 텍스트를 정확하고 중의성 없이 처리할 수 있는 자동파싱 프로그램은 아직 개발되어 있지 않다.

2.1 항에서는 심지어 비교적 간단한 문장에서도 파싱에 필요한 사항들은 결정하기가 복잡하고 완전히 형식화시키기 어렵다는 것을 살펴보았다. 절경계를 찾는 것조차도 잠재적인 술어의 숫자, 등위접속사의 존재여부 등에 대하여 일정한 조작을 해야 하고, 그 처리과정 또한 다른 경우에 대해서는 전혀 적용할 수 없게 다소 즉흥적으로 수행된다. 이 복잡성은 부분적으로는 수많은 파싱단계에서 야기되는데, 이 단계들은 각각 상이한 분석수준에서 적용된다. 2.1 항에서 사용된 문법모형은 다음과 같은 단계로 요약될 수 있다 :

• 절경계 확인
• 집단경계 확인
• 절 구성요소로 집단 배정

파싱과정의 복잡성을 줄이기 위해서는 경계표식 단계를 별도로 처리하는 것을 고려해 볼 수 있다. 다음 결과는 Coniam (1995) 이 그의 전서에서 설명한 경계표식 프로그램 (Boundary Marker program) 을 이용하여 작성되었다. 이 프로그램을 이용하여 2 항에서 사용한 Frankenstein 텍스트에서 발췌한 문장에 나타나는 단어들 사이의 경계유형을 표시하였다. 이 작업에 사용한 소프트웨어는 부분 파서 (partial parser) 로 설계된 것이다. 이 프로그램은 문장 내의 모든 경계를 찾아서 표식명칭을 배정해주지만 절 구성요소까지 배정하지는 않는다.

[

(main clause bdry (group bdry (word bdry (group bdry (prepositional bdry (word bdry (group bdry (main clause bdry (group bdry (group bdry (word bdry (group bdry (word bdry (main clause bdry

You) will) smile) at) my) allusion) ,) but) I) will) disclose) a) secret) )

]

이 결과는 처음 보면 이해하기가 조금 어려울 수 있다. 각 단어들 사이의 행에는 그 단어들 사이에서 찾아볼 수 있는 경계유형에 대한 설명이 온다. 이 분석에서 찾아볼 수 있는 주요 경계유형들은 '주절 (main clause)' (예, 쉼표와 but 사이), '집단 (group)' (예, You 와 will 사이) 그리고 '단어 (word)' (예, will 과 smile 사이) 등이 있다. 물론 '전치사 (prepositional)' 경계 (예, at 와 my 사이) 라는 것도 있다. 이 경계들은 절과 집단을 요약해놓은 목록을 만들기 위해서 사용할 수 있다. 다음 목록에서 단어와 전치사 경계가 집단 내에서 하위구분집단으로 다루어지고 있음을 알 수 있다.

    주절 1

        집단 1 : You
        집단 2 : will smile
        집단 3 : at my allusion
        집단 4 : ,

    주절 2

        집단 1 : but
        집단 2 : I
        집단 3 : will disclose
        집단 4 : a secret.

최종적으로 나타나는 마침표는 문장경계로서 두 번째 주절을 종결해준다.

이 프로그램은 앞에서 설명한 파싱의 첫 두 단계를 효과적으로 수행한다. 집단을 절 구성요소로 배정하는 것도 이 분석을 통하여 할 수 있으나 절 내부에서 발견되는 집단유형을 결정하기 위해서는 다른 정보가 필요하다. 이 정보는 프로그램을 통해서 작성된 결과로부터 얻을 수 있다. 경계를 찾는데 필요한 작업의 일부로서 이 프로그램은 텍스트 내의 단어들에 대해서 그 통사자질을 태깅하고 이 태깅과 경계표식은 경계배정 결정을 내리는 데에 도움을 줄 수 있다. 프로그램으로 작성한 결과에서 발췌한 다음 목록에는 이 정보가 포함되어 있다 :

경계표식과 태깅부호가 포함되어 있기 때문에 이 자료를 조금 쉽게 처리하기 위해서는 재배열하는 것이 상대적으로 쉽다. 절 경계에는 별표 (asterisk) 가 붙어 있다 :

이후로 나타나는 집단의 유형을 결정하기 위해서 어떤 태깅을 할 것인지는 쉬운 일이다 :

마지막으로 집단을 분류하고 난 뒤에는 절 구성요소로 할당해야 한다 :

부분 파서를 이용하여 얻은 정보는 채택한 문법모형에 따라서 문장을 완전하게 파싱하기 위하여 사용되었다. 최종 배정방법은 극히 원시적이긴 하지만 고정어순으로 되어 있는 완전한 문장들만을 분석하면 신뢰도 높은 결과를 얻을 수 있다. 그러나 이것은 어디까지나 이 간단한 작업으로 할 수 있는 작업의 예를 보여주고 있을 뿐이다. 배정과정을 여러 단계에 걸쳐서 실행할 수 있는 간단한 프로그램에 대해서는 부록 3 에 설명되어 있다.

3.3 중의성 제기

중의성 제거작업은 비록 상당히 복잡하기는 해도 최소한 약간은 자동화시켜서 어느 정도의 정확도를 달성할 수 있다. 조사대상 단어형태 주변의 텍스트에는 그 단어형태의 정확한 용례를 밝혀줄 수 있는 충분한 정보가 포함되어 있기 마련이다. 그러나 컴퓨터로 이 정보를 이용하기 위해서는 그것을 가능하게 해주는 일련의 작업을 해야 한다. 5 장에서 설명한 연어분석 방법은 이 작업의 초기단계에 적당한 근거를 제공해줄 수 있다. 텍스트 내의 해당단어에 인접해서 나타나는 패턴이 의미하는 바를 알아내기 위해서 필요한 모든 의미를 찾기 위해서는 비교 연어자료 (comparative collocation data) 가 필요하다. 이것은 미리 중의성이 제거된 연구대상 말모둠으로부터 추출하거나 컴퓨터로 읽어들일 수 있는 형태로 되어 있는 사전에서 발췌한 정보를 통해서 얻을 수 있다.

중의성 제거에 있어서 문맥을 사용하는 한 분명한 예로서 Frankenstein 텍스트에서 발췌한 다음 문장을 살펴보자 :

We accordingly lay to, hoping that some change would take place in the atmosphere and weather.

place 바로 앞에 동사인 take 가 온다는 사실은 그것을 구 동사인 take place 의 한 부분으로 해석할 수 있게 해준다. 연어분석은 구를 찾는 작업에 훌륭한 근거를 제공해 줄 수 있다. 연어분석으로 할 수 있는 일들에 대해서는 5 장의 4.1 항과 4.2 항에서 설명해 놓았다. 일단 구를 찾으면 그 구들을 이용해서 동일한 단어형태를 갖는 단어들이 서로 다른 구에서 나타날 때의 의미차이를 밝히는 데에 도움을 받을 수 있다.

다음 예문에 나타나는 place 의 의미도 문맥을 통해서 분명히 알 수 있다. 그러나 그렇게 하기 위해서는 가능한 연어나 기타 정보를 이용하기 위해서 상당한 지식이 필요하게 될 것이다 :

I replied that I could not answer with any degree of certainty, for the ice had not broken until near midnight, and the traveller might have arrived at a place of safety before that time ; but of this I could not judge.

이 경우에는 만일 통사분석이 이미 되어 있다면 중의성을 더 쉽게 제거할 수 있다. 3.1 항에 설명되어 있는 태깅 프로그램을 사용하여 해당 문장부분에 대해서 다음의 결과를 얻었다 :

place 는 자연스럽게 명사 태깅이 되었고 그 단어와 인접한 문맥에는 관사인 a 그리고 전치사와 명사가 합쳐진 of safety 가 온다. place of safety 와 같이 '명사 of 명사' 의 패턴은 다른 유사한 연어패턴들처럼 그 의미를 정확히 알 수 있다.

4. 문제의 축소 : 하위언어 (SUBLANGUAGE)

어떤 종류의 영어 텍스트이든 자연스럽게 처리할 수 있는 태깅이나 파싱 프로그램, 혹은 중의성을 제거할 수 있는 프로그램을 개발하는 것은 대단히 복잡한 일이다. 그리고 그것을 설명하는 것은 이 책의 한계를 벗어나는 일이기도 하다. 그러나 제한된 범위의 언어자료는 훨씬 수월하게 연구할 수 있게 해주는 방법이 있다. 다음에 설명하는 하위언어 방법은 제한되지 않은 '자연' 언어 전체를 다룰 때 야기될 수 있는 많은 복잡한 문제들을 적어도 임시로나마 덮고 지나갈 수 있게 해준다.

여기서 '자연' 이라는 표현은 인간이 대화에서 사용하는 언어와 소위 세계어 (주석 : 예컨대, 에스페란토어) 나 컴퓨터 프로그래밍 언어, 또는 형식논리언어 등과 같은 인공언어를 구별하기 위한 것이다. 이 표현은 또 자연언어 처리시 중요한 문제들이 발생할 수 있다는 것을 뜻하기도 한다. 자연언어는 사용자 집단 내에서 역동적이고 무의식적인 합의를 바탕으로 만들어졌으며, 제한적이고 특수한 업무만을 위해서 의도적으로 고안된 것이 아니기 때문에 어차피 인공언어보다 더 복잡하다. 인공언어는 완전히 구체적으로 기술할 수 있는 반면에 자연언어는 그 기본원리를 완전히 구체적으로 기술할 수가 없다. 자연언어는 또한 사용자의 필요에 따라서 변화하는데, 이 변화는 간혹 아주 예측이 불가능하고 일관적이지 않은 방향으로 일어난다. 만일 연구대상 언어분야에 하위언어 방법을 적용할 수 있다면 이 많은 복잡한 문제들 중의 상당수를 줄일 수 있다.

4.1 하위언어

하위언어라는 개념은 자연언어의 특수한 유형을 연구하기 위한 근거로서 여러 학자들이 사용하여 왔다. Lehrberger (1982 : 102) 에 의하면 하위언어의 특징은 다음과 같다 :

• 제한된 주제
• 어휘, 통사 그리고 의미론적 제약
• '비표준적' 문법규칙
• 특정구문의 높은 출현빈도
• 비정상적 텍스트 구조
• 특수기호 사용

이 특징들은 과학연구 설명, 의료기록, 항공정비교본, 기상관측 보고서 등과 같은 특수목적 텍스트에 나타나는 경향이 있다. 이들 텍스트의 특징 덕택에 분석에 필요한 작업의 범위와 성격을 제한시킬 수 있다. 이것은 태깅이나 파싱 같은 작업이 훨씬 쉬워진다는 것을 의미한다. 말할 필요도 없이 이 방법은 특수언어에만 사용할 수 있다. 8 장에서 설명할 두 번째 연구의 예에서 이 방법을 사전 단어 정의문에 적용한 예를 살펴보기로 한다.

4.2 하위언어 방법

일반언어 방법과 하위언어 방법 사이의 주된 차이는 고려하게 될 언어자질의 정도와 성격에 있다. 하위언어 방법을 채택하게 되면 가능한 모든 용례를 포함하여 아주 광범위하게 대상언어의 근본적인 성격을 연구하는 대신 하위언어가 아주 구체적인 의사소통 목적으로 어떻게 이용되는지를 밝히기만 하면 된다. 이런 상황에서는 보편적이고 일반적인 언어의 근본적인 성격에 대해서는 신경 쓸 필요없이 하위언어에서 실제로 사용되는 기능과 상관관계만을 다룰 수 있도록 통사태깅이나 파싱을 수정할 수 있다. 적어도 앞에서 언급한 하위언어의 변별적 특징들 중에서 제한된 주제, 어휘-통사-의미제약 그리고 특정구문의 높은 출현빈도 등의 세 가지 특징들은 전반적인 변수를 많이 줄여준다. 그러나 '비표준적' 문법규칙, 비정상적 텍스트 구조 그리고 특수기호의 사용과 같은 특징들은 이미 부분적으로 언급한 하위언어의 구조적 특징을 나타내준다.

이미 언급했지만 8 장의 두 번째 연구를 통해서 사전 단어 정의문용 파서의 개발을 위해서 어떻게 하위언어 방법을 이용하는지에 대해서 설명해 놓았다. 어휘, 통사 그리고 이미에 대한 하위언어의 제약으로 인해서 정의문 전용 문법을 만들어 내게 되었다. 이 문법은 정의문용 구조분류에 근거를 두고 개발되었다. 이 분류법에는 Collins Cobuild Studen's Dictionary 에 사용된 31,000 개 이상의 정의문에 대한 완전한 기능분석의 근거를 제공해주는 17 가지 문장구조 유형이 포함되어 있다.

5. 말모둠 연구기술의 발전

3 장, 4 장 그리고 5 장에서 설명한 모든 텍스트 연구용 도구 프로그램들은 대부분 분석상의 결정을 내리는 데에 있어서 문자열 인식에 의존하고 있기 때문에 아직 부족한 점이 많다. 단어빈도 조사, 문맥행 추출 그리고 연어연구용 소프트웨어들의 사용결과에 영향을 미치는 문제들에 대해서 논의하면서 통사태깅과 파싱 그리고 중의성 제거 등의 방법을 통해서 얻은 추가정보들을 이용하여 이 문제들 중의 몇 가지는 제거할 수 있고, 그렇게 함으로써 말모둠 연구기술을 촉진시킬 수 있다는 것을 살펴보았다. 5.1 항에서는 말모둠 텍스트에 있어서 통사 혹은 의미정보 태깅이 어떤 장점이 있는지 살펴보고 5.2 항에서는 파싱된 텍스트의 이용방법에 대해서 살펴본다.

5.1 태깅의 이용

단어빈도 조사, 문맥행 추출 그리고 연어연구 소프트웨어의 이용에 영향을 미치는 주요 문제점들은 동일한 단어형태들의 차이를 구분하지 못한다거나 혹은 다른 단어형태를 동일한 단어의 대표적인 형태로 처리할 수 없다는 데에서 비롯된다. 예를 들어서, thought 는 Frankenstein 텍스트에 74 번 나타난다. 다음과 같이 문맥행들을 발췌하여 살펴본 결과 이 단어형태는 여러 가지 다른 언어단위를 대표할 수 있다는 것이 밝혀졌다.

전체 25 행 중에서 8 행 (1, 4-7 그리고 10-12 행) 은 thought 가 명사로 사용되고 있는 반면에 나머지 17 행은 동사인 to think 의 과거형이 사용되고 있다. 단어빈도목록과 문맥행 내에서의 상이한 언어단위들 사이의 혼용은 이들 프로그램을 이용하여 얻은 결과를 왜곡시킨다. 만일 이 단어형태들을 통사 및 의미태깅을 통해서 구분할 수 있다면 이러한 도구 프로그램들과 이들을 이용한 연어분석을 더욱 효과적으로 이용할 수 있을 것이다.

5.1.1 통사태깅

통사태깅에서 사용되는 일반적인 방법은 이미 2.1 항에서 설명하였다. 분석과정이 전부 수작업으로 이루어진다거나, 완전히 자동화되었다거나 혹은 이 두 가지가 혼합되었다 해도 정상적인 결과는 원본 테스트에 주석이 붙어서 나타나는 개개의 단어들이 그 단어들의 통사적 속성을 보여주는 정보로 태깅된 형태일 것이다. 이 태그에 포함되어 있는 정보를 이용하기 위해서 텍스트 연구용 소프트웨어를 약간 수정해야 할 수도 있다. 그러나 전체적인 효과는 빈도목록과 문맥행이 단순히 문자열 인식의 수준을 넘어선 기준에 근거하여 조직화될 수 있다는 것이다. 만일 그 과정을 Frankenstein 텍스트에 적용해 본다면 태깅된 내용을 근거로 하여 빈도목록과 문맥행 추출 프로그램에서 동사 thought 와 명사 thought 를 간단히 구분할 수 있다.

일반연구 목적으로 개발된 어떤 말모둠에는 광범위한 태깅이 되어 있어서 이 작업을 할 수 있게 되어 있다. 예컨대, Lancaster-Oslo/Bergen (LOB) 말모둠은 태깅된 것과 태깅 안된 것 모두 사용이 가능하다. 이 말모둠은 CLAWS (구성요소 유사성 자동 단어태깅 시스템, Constituent-Likelihood Automatic Word-tagging System) 과 사후 편집과정을 혼합하여 태깅되었다. 태깅으로 인해서 인간연구원이 텍스트 읽기가 더 어려워진다. 그러나 이를 통해서 컴퓨터가 다른 품사로 쓰이는 동일한 단어형태들을 구분하는 데에 필요한 정보를 제공한다. 다음은 LOB 말모둠 첫 부분에서 발췌한 견본이다 :

이 예에서 사용된 태깅표식은 상당히 구체적이다. 이 비교적 소규모 예에서조차 30 개의 상이한 태깅표식을 사용한다. 태깅표식에 대한 자세한 설명은 2 장 3.1.3 항에서 언급된 ICAME Collection 영어 말모둠과 함께 CD-ROM 으로 제공된다. 태깅된 말모둠을 이용하여 작성한 빈도목록에는 thought 에 대하여 다음과 같은 세 가지 다른 항목이 나타난다 :

    thought_nn      112

    thought_vbd     106

    thought_vbn       61

이 세 개의 태깅된 형태들은 문맥행 추출 소프트웨어를 사용하여 명사 (nn) thought, 동사 think 의 과거시제형 그리고 또 과거분사형 (vbn) 등과 같이 별도로 찾아낼 수 있다. 이 항목들을 포함하고 있는 문맥행들 중에서 순서대로 5 행씩 보면 다음과 같다 :

만일 필요하다면 위의 문맥행들을 발췌한 후에 태깅표식을 제거하여 읽기 쉽게 할 수 있다.

이 태깅표식들은 또한 상당히 다양하게 사용할 수 있어서 텍스트 연구에 있어서 단어 자체보다는 단어배열이 더 중요한 통사유형 연구에 집중할 수도 있다. 분석 소프트웨어를 태깅표식만 인식하게 바꿀 수도 있고, 혹은 태깅표식만 연결시켜서 새 텍스트를 작성할 수도 있다. 앞에서 논의한 LOB 말모둠의 첫 부분에 이 작업을 하면 다음 결과를 얻을 수 있다 :

*'VB VBG NN NNS **'.
IN NP NP.
AN NN TO VB NPT NP IN
VBG DTI AP NN
NN NNS BEZ TO BE VBN AT NN
IN NN NPTS NR.
NPT NP NP HVZ VBN RP AT
NN IN ATI NN CC
PP3A BEZ TO BEVBN IN NPT NP
NP ,NPT IN NP
NP.
CS PP3AS MD VB DTI JJB
NN ,AT JJ NN
IN NN NPTS BER JJ TO VB RP
ATI NP
NN.

이제는 기존 빈도목록과 문맥행 추출 소프트웨어에서 텍스트에 부여된 태깅표식을 가지고 작업할 수 있다. 단위를 더 이상 개별단어로 제한할 필요가 없다. 이젠 전체문장이나 혹은 그보다는 축소된 태깅표식 집단을 조사하여 특정문형의 출현빈도를 알아낼 수 있다. 텍스트에 부여된 태깅표식들만을 보여주기 위해 사용할 수 있는 간단한 프로그램을 부록 3 에 설명해 놓았다.

5.1.2 의미태깅

텍스트 내에서 중의적으로 사용되는 단어들에 대해 연구하는 경우에 의미태깅은 통사태깅 못지 않게 많은 도움을 줄 수 있다. 앞에서 Frankenstein 텍스트에서 논의한 thought 의 예로 돌아가서 살펴보면 5.1.1 항에서 사용된 예문에서 명사 thought 가 나타나는 문맥행들은 다음과 같다 :

이 예에는 thought 의 두 가지 의미가 다 나타난다. 하나는 1, 2, 4 그리고 12 행에 나타나는 일반적 사고행위 그리고 5, 6, 7 및 10 행에 나타나는 인간의 개별적인 생각이 그 두 가지이다. 만일 텍스트를 이 정도로 자세하게 태깅한다면 통사특징까지도 이에 못지 않게 구분해낼 수 있을 것이다.

5.1.3 파싱된 텍스트

파싱된 텍스트와 태깅만 된 텍스트와의 주된 차이는 분석의 범위에 있다. 구 구조의 경우에 가능한 몇 가지 예외를 제외하고는 태깅은 개별단어들에 대한 정보를 제공한다. 반면, 파싱은 단어군의 구조적 관계를 찾아내는 것이 주목적이다. 이것은 연구의 범위에 중요한 차이를 초래한다. 즉, 이렇게 함으로써 단어수준의 텍스트 연구에는 제한을 받는 대신 보다 큰 그리고 잠재적으로 더욱 의미있는 언어단위를 처리할 수 있게 된다. 파싱에 의해서 제공되는 추가정보는 텍스트에서 찾아볼 수 있는 상당한 양의 중의성을 제거해 줌으로써 더욱 집중적이고 효과적으로 연구에 임할 수 있게 된다.

파싱된 텍스트에서 개별단어 대신 통사태깅표식을 조사하는 방법으로 5.1.1 항에서 소개한 방법은 매우 유용하게 쓰일 수 있다. 파싱된 텍스트의 구조적 단위는 태깅작업시 경계의 정의를 내리는 데에 있어서 기본단위가 될 수 있다.

6. 자연언어처리와 자연언어이해

통사태깅, 파싱 그리고 중의성 제거작업을 기타 다른 유사 작업과 합하여 일반적으로 자연언어처리 (Natural Language Processing, 줄여서 NLP) 라고 부른다. 만일 통사구조와 그 의미자질을 모두 밝혀내기 위해서 텍스트를 자동으로 분석할 수 있다면 처리단계를 하나 더 발전시킬 수 있을 것이다. 일반적으로 텍스트 분석에서 컴퓨터 이용시 생길 수 있는 문제들은 컴퓨터가 텍스트 정보를 인간이 이해하듯이 이해할 수 없다는 데에 기인한다. 기본 분석방법들은 단어를 이루는 문자열에 대한 패턴일치방법을 주로 사용한다. 이 프로그램들은 단어 자체의 의미나 또는 단어들이 모여서 구성하는 텍스트의 의미를 알아낼 수 없다. 만일 NLP 가 발전하여 컴퓨터가 텍스트 의미를 이해하고 텍스트에 대해 적절한 반응을 보일 수 있게 된다면 텍스트 연구기술과 그 기술을 이용한 응용방법은 엄청나게 개선될 수 있을 것이다.

여기에서 '이해한다' 는 말의 뜻을 분명하게 해야 할 것 같다. 이 말의 의미는 인간이 텍스트를 이해한다는 것과 동일하지는 않다. 그러나 적어도 컴퓨터가 인간이 텍스트를 이해하는 과정과 어느 정도 흡사한 작업을 한다는 것을 의미한다. 실제로 이 과정에서 가장 중요한 것은 텍스트 내용을 통해 다른 정보를 정확하게 추론해 낼 수 있는 능력이다. 한 예로 Margaret Drabble (1977) 의 The Realms of Gold 의 146 쪽에서 발췌한 다음 문장을 살펴보자 :

Her mother made the tea, while Janet finished the chicken, and started the sauce.

인간독자들은 앞 텍스트가 있기 때문에 이 문장에서 her 가 Janet 을 지칭한다는 사실을 아무런 문제없이 이해할 수 있다. tea 와 상관된 made 의 의미도 가능한 의미범주 내에서 다른 의미와는 구분하여 쉽게 중의성을 제거할 수 있다. tea 자체도 이 문장의 앞에, 즉 같은 텍스트의 145 쪽에 나온 문장들이 있기 때문에 음식이 아닌 더운 음료수로 쉽게 해석할 수 있다.

'Would you like a cup of tea, Mummy?' said Janet. 'Would you mind putting the kettle on? My hands are all chickeny.'
'Don't let me hold you up,' said her mother, going to fill the kettle.

비슷한 이유로 finished 와 started 는 요리의 여러 단계에 대한 설명이라는 것을 이해하는 데에도 아무런 문제가 없을 것이다. 요리지식이 거의 혹은 전혀 없는 독자들이라면 닭요리나 그 국물의 요리과정에 대해 구체적으로 모를 수 있다. 그러나 이 텍스트는 요리책이 아니기 때문에 독자들이 구체적으로 몰라도 텍스트를 인식하고 이해하는 데에 거의 영향을 미치지 않는다.

만일 컴퓨터로 같은 텍스트의 의미에 대해서 동일한 수준의 인식을 하게 만들 수 있다면 더 이상 바랄 나위가 없을 것이다. 소유형 her 를 해당되는 사람의 이름으로 대체할 수 있고 또 made, tea, finished 나 started 의 중의성을 제거할 수 있다면 컴퓨터는 텍스트가 정의하는 언어적 관계를 이해하고 그 함축성을 정확히 기록하여 적절하게 대응할 수 있을 것이다.

자연언어의 복잡성은 4 항에서 이미 설명하였다. 그리고 거기에서 말한 여러 이유 때문에 컴퓨터를 이용하여 개발 중에 있는 대부분의 완전자동화된 자연언어이해 기술들도 극히 복잡하고, 또 엄청난 자원을 필요로 한다. 7 장에서는 이러한 기술들을 직접 이용한 응용방법들이나 또는 이 기술들을 이용하여 개선시킬 수 있는 몇 가지 주요 응용방법들에 대해서 간단히 살펴보겠다.

통사태깅, 파싱 그리고 중의성 제거는 말모둠 텍스트 연구의 개선에 중요한 추가정보를 제공해줄 수 있다. 이 방법들의 사용과 관련된 주요문제들은 다음과 같다 :

• 대규모 텍스트에 수작업으로 이 방법을 적용하면 시간이 많이 걸린다.
• 이 방법들은 정확도를 유지하면서 동시에 자동화시키기는 어렵다.

만일 연구대상 언어가 적절한 특징을 가지고 있다면 하위언어 방법을 이용하여 이러한 문제점들을 야기하는 언어적 복잡성을 줄일 수 있다.