Syntactic Analysis
단어들의 선형적 순서는 서로간에 어떻게 관계되는지를 보여주는 구조로 변형된다. 이러한 parsing 과정은 문장에서 단어들의 리스트를 "de-linearization" 시켜서 트리형식으로 변환한다 Constraints imposed include word order ("manager the key" is an illegal constituent in the sentence "I gave the manager the key"); number agreement; case agreement.
구문론(Syntax) : 구문론은 단어들의 집합을 결합하여 어떻게 하면 합법적인 절 및 문장을 만드는가에 대한 규칙을 다루는 것이다. 이러한 구문론적인 구분은 가장 성공적으로 시행되어 온 것으로서, 결과적으로 언어학상의 분석단계에서 가장 성공적으로 자동화를 이룬 부분이다
형태소 해석 결과는 구문해석에 의해 문법적으로 타당한 단어의 나열인가가 분석된다. 구문해석에 사용되는 문법규칙이 Context free grammar 규칙인 경우는 고속의 구문해석 알고리즘이 개발되어 있는데 구문해석에서 중요한 문제는 구문해석에 사용하는 대규모적인 문법규칙이 작성되어 있지 않고 있다는 것이다. 문법 규칙의 작성에는 언어학자들의 협력을 필요로 하며 작성된 문법규칙을 사용하여 기계 상에서 실제의 문장을 입력하여 반복적으로 실험해야 한다. 그렇게 하지 않으면 문법규칙에 불필요한 애매함이 부가되기 때문에 바람직하지 못한 구문해석의 결과가 다수 발생하여 이후의 처리에 어려움으로 남게 되는 경우가 때때로 생긴다. 또한 구문 적인 애매모호함 (ambiguity 이나 Vagueness)의 문제를 해결하기 위해서 현재 Semantic analysis 의 기술을 병행하는 연구도 진행되고 있다.
자연어 구문해석의 목적도 인공언어의 경우와 마찬가지로 부분 표현끼리의 상호관계를 나타내는 구조를 만들어 내는 것이다. 인공언어의 경우는 언어설계자가 처리 상황에 알맞은 문법을 자유로이 설정할 수 있는데 반해 자연어의 경우는 처리해아 할 문장의 집합이 우선 앞서 존재한다. 그때 존재하는 문장의 집합을 규정하는 문법을 설정하는 것이지 구문해석의 상황에 알맞은 문법을 가진 언어를 설계하는 것은 아니기 때문에 자연어의 구문해석은 그 만큼 어려워지는 것이다.
자연어 구문해석의 어려움은 다음과 같다.
1) 자연어에는 많은 애매모호성이 있다. 즉 입력문 중의 동일 개소에 적용 가능한 규칙이 복수개 존재하는 수가 많고 어떤 규칙 적용이 최종적으로 올바른 결과에 이를 것인지가 규칙적용 시점에서는 판단 불가능하다. 따라서 구문해석 기법은 무언가의 형태로 이 비결정성을 일일이 살펴야 한다.
2) 자연어의 문법규칙은 명사나 동사와 같은 품사의 레벨만으로는 제한이 불충분하며 많은 애매모호성이 생겨 버린다. 이러한 애매모호성을 피하기 위해서는 동사의 활용성 명사의 수(단수, 복수)와 같은 단어의 형태적인 정보 의미적 정보 등을 필요에 따라 참조해야 한다.
3) 자연어의 문법이란 것이 객관적으로 존재하는 것은 아니다. 단순히 우리가 언어현상을 관찰하여 그것을 일반화시켜 놓은 데 지나지 않는다. 따라서 현존하는 문법체계가 언어현상 모두를 설명할 수 있을 것이라는 보장은 없고 설명할 수 없는 언어현상이 발견되면 이미 만들어진 문법규칙을 그에 맞추어 변경해야 한다. (계속되는 한글의 개정)
4) 자연어에는 예외적인 표현이 꽤 빈번히 나타나기 때문에 그들 모두를 처리할 문법의 규모는 매우 큰 것으로 된다. 극단적인 경우 하나의 단어를 위한 규칙만도 만들어야 한다. 이러한 대규모 문법을 자주 수정해야 하므로 문법 규칙의 표현이 간단하면서 알기 쉬울 것 또 규칙의 추가 수정이 용이하게 이루어지도록 모듈 구조로 되어 있을 것 등이 중요하게 된다.
video :
언어이해 (뇌와 언어이해, 구문 분석) : 인지심리학 : KUOCW 남기춘 2014/06/10
언어이해 (구문분석, 활용, 텍스트 처리), 인지의 개인차 (인지 발달, 인지에 관한 심리 측정 연구) : 인지심리학 : KUOCW 남기춘 2014/06/12