Natural  Language  Processing

한국어, 영어 등과 같이 인간사회의 형성과 함께 자연발생적으로 생겨나고 진화하고 의사소통을  행하기 위한 수단으로서 사용되고 있는 언어를 자연어 (Natural Language) 라고 말한다. 컴퓨터의 세계에서 "언어"라고 말하면 거의 프로그램 언어, 즉 FORTRAN, COBOL등의 인공어 (Artificial Language) 를 가리키고 있다. 그래서 이 인공어와는 다른 언어라는 의미로 자연어라는 말을 사용한다.

한국어에는 한국어 고유의 법칙, 영어에는 영어 고유의 법칙이 존재하고 있다. 모든 언어에 공통이면서 보편적으로 존재하고 있는 법칙도 있다고 생각할 수 있다. 자연어에 포함할 수 있는 이들 법칙을 주로 연구하는 학문을 언어학 (Linguistics) 라고 부르고 있다. 그리고 그 법칙을 문법 (Grammar) 이라고 부른다. 전산언어학 (Computational Linguistics) 은 인간의 언어 능력을 컴퓨터 관점에서 바라보는 언어학과 컴퓨터 과학의 중간 쯤에 있는 학문이다. 자연어에 관한 문제는 철학 (Philosophy) 및 논리학 (Logic) 에서도 관심의 대상이며, 인지과학 (Cognitive Science) 에서는 자연어의 연구가 하나의 큰 기둥이 되고 있다.

자연어 처리는 크게 두 가지 작업으로 나눌 수 있다. 첫째는 실세계의 필요한 정보뿐만 아니라 언어에 있어서의 어휘, 구문, 의미에 관한 지식 (lexical, syntactic, semantic knowledge) 을 사용해서 문어 (written text) 를 처리하는 것이다. 둘째는 위에 더하여 음성에서 발생되는 애매함을 비롯한 음성학 (Phonology) 에 대한 부가적인 지식을 필요로하는 구어 (spoken language) 를 처리하는 것이다.

이러한 자연어 처리는 자연어 이해 (Natural Language Understanding)   자연어 생성 (Natural Language Generation)   기계번역 (Machine Translation)   질의응답 시스템 (Question Answering System)   전산언어학 (Computational Linguistics)   음성인식 (Speech Recognition)   음성합성 (Speech Systhesis)   음성이해 (Speech Understanding)   정보검색 (Information Retrieval)   문서분류 (Text Categorization)   텍스트마이닝 (Text Mining)   Computer-Aided Language Learning    Dialogue and Discourse Systems   자연어 Interfaces 등의 여러분야를 포함한다. 

구어를 이해하는 것은 문어를 이해하는 것보다 훨씬 어렵다. 자연어 처리에서는 구어 및 문어를 동시에 이해하는 것이 필요하다. 어떤 것을 이해한다는 것은 하나의 표현에서 다른 표현으로 변형시키는 것을 의미한다. 컴퓨터가 언어를 이해할 수 있다는 것은 입력문 (자연어) 을 응용시스템이 조작 가능한 표현형 (의미표현) 으로 컴퓨터가 변환할 수 있음을 말한다. 이러한 mapping 을 통해 어떤 사건에 대해 적절한 행동 (appropriate action) 이 수행되도록 설계된다. 

자연어처리 시스템의 초기 성공의 예로서는 Terry Winograd 의 SHRDLU가 유명하다. 이것은 화면상의 나무쌓기를 자연어인 영어로 조작한다. 그 후 정신분석을 행하는 ELIZA, 여행계획의 질의응답 시스템인 GUS, 영문해석 시스템인 MARGIE, 대화해석 시스템인 TOPLE 등 여러 가지 자연어처리 시스템이 개발되었다

video :

딥 러닝을 활용한 자연어처리 기술 실습 - 1강 : SKtechx Tacademy : 2017/12/07 ... 동영상 4개

자연어처리에 대한 이해와 TensorFlow를 활용한 모델링 구현 실습 - 1강 : SKtechx Tacademy : 2017/05/23 ... 동영상 4개