신경망을 이용한 음성 인식

알기 쉬운 신경망 컴퓨터 : 김명원. 방승양. 이수영. 이종호. 전홍태. 정호선. 정홍 공저, 전자신문사, 1992, Page 79~126

 포항공과대학 전자공학과   정홍

신경망은 생명체의 지능을 실현하는 하드웨어

  1) 퍼지 이론, 신경망, 시뮬레이티드 어닐링, 유전 알고리즘

  2) 지능과 음성처리

  3) 지능과 신경망의 크기

  4) 인간의 언어처리 기능은 언어생성과 언어이해로 구분된다

  5) 언어생성 메커니즘

  6) 언어이해 메카니즘

음성 인식은 음성을 듣고 이해하는 능력이다

  1) 음성 인식과 언어학

  2) 음성 인식과 신호처리

  3) 음성 인식 시스템의 판정기준

  4) 음성 인식 시스템의 구조

  5) 음성 인식 시스템의 기본구조

  6) 음성 인식의 문제점

음성 인식의 응용

  1) 음성 인식의 응용 분야

  2) 음성 제어 응용

  3) 음성 타자기

  4) 음성 컴퓨터 및 로봇

  5) 자동통역 장치

  6) 음성 인식 전망

음성 인식용 신경망

  1) 신경망의 특성

  2) 음성 인식용 신경망

기존의 연구 결과

  1) 과거의 연구 결과

  2) 최근의 연구 결과

  3) 최근의 경향

밝은 미래의 음성 인식 시스템

신경망은 생명체의 지능을 실현하는 하드웨어

1) 퍼지 이론, 신경망, 시뮬레이티드 어닐링, 유전 알고리즘

최근에 자연과학 분야에 여러 수학적 이론들이 난립하고 있어 많은 사람들이 개념상 혼돈에 빠져 있는 것 같다. 이 중 대표적인 이론들을 들면 퍼지 이론, 신경망, 시뮬레이티드 어닐링, 그리고 유전 알고리즘이라 할 수 있을 것이다. 이제 이 개념들의 유사점과 상이점을 비교해 보자.

퍼지 이론은 원래 확률 이론과 이치 논리를 결합한 새로운 아이디어이다. 예를 들면, '키가 크다' 라는 속성에 150 cm, 170 cm, 그리고 180 cm 의 확실성을 나타내는 숫자로 각각 0.4, 0.5, 0.7 을 부여할 수 있을 것이다. 이와 같이 어떤 속성을 나타내는 집합을 설정하고 어떤 원소들이 이 집합에 속하는지 아닌지의 확실성을 0 에서 1 사이의 값으로 설정하는 것이다. 이렇게 하면 크다 아니면 작다라는 애매모호한 표현을 나타내는데 있어서 긍정이나 부정밖에 할 수 없는 이치논리보다 불확실한 정도를 수치로 표현할 수 있는 퍼지 이론이 훨씬 유리할 것이다. 또 확률에서와 같이 150, 170, 180 이라는 원소의 확률의 합이 반드시 1 이 되어야 할 필요도 없는 것이다. 즉 집합은 집합의 관점에서 보았을 때 원소들이 자기 자신에게 어느 정도로 포함되는지를 표현하며, 퍼지는 원소의 관점에서 보았을 때 자기 자신이 어떤 집합에 어느 정도로 포함되는지를 표현하고자 하는 것이다. 이와 같은 견해에서 보면 퍼지 이론은 애매모호한 사실을 표현하고 논리적으로 추론하는 데 유리한 것이다.

신경망연구는 1950 년대 맥클로와 피츠가 생체의 신경 시스템을 수학적으로 해석하려는 데서 유래한 것이다. 주지하다시피 생채는 사물을 인식하고 사고하고 운동하는 데 탁월한 능력을 발휘한다. 이것은 컴퓨터가 가장 기본 단위인 트랜지스터로 구성되어 있듯이 생체의 신경 시스템은 신경세포라는 기본 단위로 구성되어 있기 때문이다. 따라서 신경망의 구조와 매커니즘을 연구하여 생체의 지능 시스템을 수학적으로 해석하려는 것이다.

한편, 통계 역학에서는 물체구조의 상태를 연구하다가 시뮬레이티드 어닐링이 발명되었다. 유리나 철과 같이 고온에서 액체 상태로 있는 물질을 어떤 속도로 식히느냐에 따라 각기 다른 에너지를 갖는 최종의 결정 상태가 결정된다. 1983 년 패트릭은 이 현상으로부터 함수의 최소값을 결정할 수 있는 최적화 알고리즘을 발명한 것이다.

1975 년 홀란드는 생물의 진화 메커니즘을 연구하다가 유전 알고리즘을 고안해 내게 되었다. 다윈의 진화론이 대두된 이후로 생물학자들은 진화 메커니즘을 수학적으로 해석하려는 데 상당한 난관에 봉착했었다. 생물학자는 물론 많은 사람들은 인간과 같이 복잡한 생물체가 화석에서 볼 수 있듯이 어떻게 저렇게 빨리 진화할 수 있는지 이해할 수가 없었다. 아직도 진화 메커니즘이 확실히 밝혀진 것은 아니지만 몇 가지 중요한 단서는 잡혀 있는 셈이다. 즉 진화는 생물조직의 설계도인 염색체에서 일어나는 것이다. 이 염색체의 코딩과 디코딩 과정이 아직 전부 밝혀진 것은 아니지만 여러 가지 결과가 밝혀져 있다. 이런 유전자에 의한 진화 메커니즘을 최적화에 응용할 수 있는 것이다.

이 학문들은 각각 하나의 자연과학 분야에서 영향을 받아 고안된 것들이지만 다른 자연과학 연구분야에까지 광범위하게 응용되고 있는 것이다. 또한 확률 이론, 생체 연구, 그리고 유전자 연구들은 퍼지 이론, 신경망, 그리고 유전 알고리즘으로부터 직접적으로 도움을 받지 않는 특성이 있다. 다시 말하면 이 개념들은 일방적으로 자연현상에서 힌트를 얻어 발명된 아이디어들이나 순전히 인위적으로 정의된 개념들인 것이다.

또 이들의 기능을 보면 각각 특색이 있다. 퍼지 개념은 애매모호한 개념을 표현하기 위한 것이다. 반면 신경망은 주어진 데이터로부터 스스로 배워 어떤 일반적인 특징을 끄집어 내는 데 탁월한 능력을 발휘하는 것이다. 따라서 이 분야는 서로 애매모호한 데이터를 처리할 수 있다는 데서 공통점을 찾을 수 있을 것이다.

한편 시뮬레이티드 어닐링과 유전 알고리즘은 각각 물질상태와 생체진화의 원동력이 되는 이론이지만 주어진 문제점의 최적해를 찾는 데에 공통점이 있다. 무생물이나 생물이나 환경에 적응하기 위한 최적상태로 변환하기 위해 어떤 법칙을 따르고 있다고 보면 서로 어떤 관련성이 있는 것이 틀림없다. 그리고 이들 개념들은 전부 주어진 문제를 풀어 가장 적합한 해를 구해내려는 데에 공통점이 있는 것이다.

2) 지능과 음성처리

컴퓨터나 로봇의 지능이 지향하는 궁극적인 목표는 한마디로 인간과 같은 수준의 지능을 갖는 것이다. 이 지능은 결국 100 억개 정도의 신경세포들이 약 300 조 개의 연결고리 (시냅스) 로 서로 연결된 신경망으로 구성된 대뇌에 의해 실현되고 있는 것이 분명하다. 이 지능은 다시 지각 기능, 사고 기능, 제어 기능으로 대별되어 외부의 세계를 관찰하고 생각하고 대응하는 구조로 되어 있는 것이다. 이 중 지각 기능은 다시 시각ㆍ청각ㆍ후각ㆍ미각ㆍ촉각의 오감으로 구분된다. 특히 이 기능 중 말하고 듣고 이해하는 기능이 없으면 곤란할 것이다. 따라서 오감 중 청각 기능이 가장 진화된 것이라 한다.

원시시대에는 청각 기능이 맹수의 습격을 감지하기 위해 발달하였을 것이다. 이렇게 해서 감지된 신호는 제어신경을 자극하고 근육을 움직여 재빨리 도피할 수 있었을 것이다. 다음에 청각은 통신 및 이해의 기능이 필요해서 진화했을 것이다. 이것도 마찬가지로 맹수의 습격을 피하기 위한 것이다. 예를 들어서 맹수의 접근을 냄새 맡고 다른 인간들에게 음성으로 경고할 수 있었을 것이다. 또한 동물들마다 각기 다른 위협적인 소리를 내어 접근을 저지해야만 했으므로 여러 가지 조음기관이 발달하게 되었을 것이다.

이 분야의 전문용어로서 말하고 듣는 기능을 각각 음성 합성과 음성 인식이라고 하고, 이들을 합쳐서 음성 처리라고 하는 데 음성 합성은 상당히 진전되어 있으나 음성 인식은 아직 대단히 어려운 상태에 놓여 있다. 이 음성 합성과 인식은 신경망의 기능과 밀접한 관계가 있다. 오래 전부터 인간처럼 말하고 들을 수 있는 기계에 대한 호기심을 많았지만 1950 년대 컴퓨터가 등장하면서부터 본격적으로 연구되어 왔다고 해야 할 것이다. 그리고 1980 년대에 들어서는 이 기능을 신경망을 이용해 연구해 보려는 운동이 활발해진 것이다. 그리고 신경망이 기존의 음성인식 시스템이 한계를 보이고 있는 화자독립 연속음성인식문제를 해결해 줄 수 있는 가능성을 보여 주고 있는 것이다.

3) 지능과 신경망의 크기

지능을 필요로 하는 계산량은 컴퓨터의 계산량이나 신경망의 용량으로 환산할 수 있다.

일반적으로 신경망의 크기를 결정하는 단위는 신경세포간을 연결하는 연결고리의 수로 나타낸다. 어떤 문제를 실시간에 풀기 위해서는 매초 이 연결고리를 몇 개 처리할 수 있느냐가 관건이다. 따라서 이 두 단위를 기준으로 로봇, 신호처리, 음성처리, 영상처리를 <그림 1> 과 같이 그릴 수 있다. 먼저 로봇을 구현하기 위해서는 1,000 개 정도의 연결고리가 필요하고 매초 1,000 개의 연결고리를 처리해야만 한다. 그리고 신호처리는 1 만개의 연결고리를 필요하고 초속 100 억 개의 연결고리를 처리해야 한다. 더 나아가 음성처리는 10 만 개의 연결고리가 필요하고

<그림 1>

초속 10억 개의 연결고리를 처리해야 한다. 영상처리는 무려 1 억 개의 연결고리가 필요하고 초속 1,000 억 개의 연결고리를 처리해야 한다.

한편 신경망을 컴퓨터의 소프트웨어로 구현할 때 1 개의 연결고리는 1 개의 메모리와 1 개의 곱셈을 필요로 한다. 따라서 연결 고리 수와 연결고리 처리 속도를 컴퓨터의 주기억 용량과 계산 속도로 환산하면 된다. 이와 같이 해서 로봇은 4 KBytes 의 주기억 용량과 1 K FLOPS 의 곱셈속도, 신호 처리는 40 KBytes 와 10 Giga FLOPS, 음성 처리는 400 KBytes 와 1 Giga FLOPS, 영상 처리는 400 Mega Bytes 에 100 Giga FLOPS 의 처리 능력이 필요하다. 현재의 테크놀로지에서 본다면 주기억 소자의 용량은 별 문제가 안된다 하더라도 아직 계산 속도에는 문제가 있다. 현재 가장 빠른 슈퍼컴퓨터는 아직 10 Giga FLOPS 정도이기 때문이다. 대표적인 슈퍼컴퓨터인 CRAY Y - MP 의 최대속도가 3 Giga FLOPS 밖에 안된다. 이와 같은 이유로 해서 로봇 분야는 컴퓨터를 이용해서 소프트웨어적으로도 구현할 수 있으나, 다른 분야들은 신경망 전용 하드웨어가 필요한 것이다.

그러나 다른 분야에서도 마찬가지이지만 음성 처리의 구현이 아직 안 되고 있는 것은 하드웨어 문제라기보다 그 메커니즘이 아직 확실히 구명되어 있지 않기 때문이다. 이와 같은 이유로 해서 먼저 인간의 언어 메커니즘을 좀더 자세히 이해할 수 있어야 하는 것이다.

동물의 신경망 크기를 비교해 보자. 거머리는 1,000 개 정도의 신경망 연결고리를 가지고 있으며, 이 연결고리는 매초 1 만 개 처리한다. 그리고 일반적으로 벌레는 1,000 개 정도의 연결고리를 초속 10 만 개씩 처리하고 있다. 파리는 1 억 개의 연결고리를 가지고 있는데, 이를 매초 10 억 개씩 처리한다. 바퀴벌레는 10 억 개의 연결고리를 1,000 억 개씩 처리하며, 벌은 100 억 개의 연결고리를 매초 1 조 개씩 처리하는 것이다. 한편 사람은 무려 1 경 개의 연결고리를 매초 1,000 조 개씩 처리할 수 있는 것이다. 그러면 현재 나와 있는 슈퍼컴퓨터는 처리 능력이 어느 수준인가? CRAYX - MP 를 예를 들면, 100 만 개의 연결고리를 매초 1 억 개씩 처리하는 수준밖에 안 된다. 즉 파리의 신경계만도 훨씬 못한 것이다.

이와 같이 슈퍼컴퓨터가 파리 수준에도 도달하기 힘든 이유는 어디에 있는 것일까? 컴퓨터의 구성 소자는 트랜지스터로서 나노초의 계산속도를 자랑한다. 100 밀리 초나 시간이 걸리는 연결고리에 비하면 무려 1 억 배나 빠른 속도이다. 그런데 왜 슈퍼컴퓨터가 간단한 신경망도 따라가기 힘든 것일까? 이것은 동물의 신경계는 많은 수의 신경세포를 가지고 있기 때문이다. 파리와 같은 하등 동물도 1 억 개의 연결고리를 가지고 있는 데 반해 슈퍼컴퓨터는 1,000 만 개의 연결고리도 구비하기가 힘든 것이다. 말하자면 신경계는 처리 속도가 굉장히 느린 반면에 엄청나게 많은 수의 신경세포를 구비할 수 있기 때문에 결과적으로 엄청난 계산 능력을 발휘하고 있는 것이다. 따라서 기존의 디지털 컴퓨터로는 인간 수준의 신경망에 필적하는 기억용량과 계산속도를 가질 수 없을 것이다. 이와 같은 이유로 해서 신경망 하드웨어가 필요한 것이다.

4) 인간의 언어처리 기능은 언어생성과 언어이해로 구분된다

사람의 가장 고차 기능의 하나로서 언어기능이 있다. 한마디로 언어기능은 음을 생성하고 음을 듣고 이해하는 기능이다. 이 기능이 대뇌의 좌반구에 분포되어 있다는 것이 알려진 것은 19 세기 후반 파리의 신경의학자인 폴 브로카이다. 그는 실어증 환자였던 사람을 부검하다 대뇌 좌반구의 전두엽 한 부분이 파손되어 있음을 발견한 것이다. 이 부분을 브로커 중추 또는 앞 언어영역이라고 하며, 글쓰기와 발화를 담당하는 것으로 알려져 있다. 그 후 웰니케도 부검을 하다 좌반구의 후두엽도 음성이해와 독서의 기능과 관련이 있다는 것을 발견했는데, 이 부분을 뒤 언어영역이라고 한다.

20 세기에 들어와 펜필드 씨들은 간질환자의 개두 수술시 노출된 대뇌 표면을 자극해 그 반응을 관찰하여 위 언어영역을 발견하였다. 흥미롭게도 뇌는 외부의 자극에 대해 전혀 통증을 느끼지 못하는데, 이는 뇌에는 통증을 느끼는 신경이 없기 때문이다.

대뇌는 좌우반구로 분리되어 있고 서로 약 1 억 개의 신경섬유로 된 뇌량으로 연결되어  있어 좌우 뇌의 정보를 교환한다. 간질 증상을 억제하기 위해 이 뇌량을 절단하는 시술이 오래전부터 시도되어 왔다. 이런 분리뇌 환자를 연구한 결과 좌우 눈의 망막의 좌반구가 왼쪽 뇌에, 우반구가 오른쪽 뇌에 연결되어 있고, 왼손은 오른쪽 뇌에, 오른손은 왼쪽 뇌에 연결되어 있음을 알게 되었다.

1970 년도 가자 니가가 관찰한 일화를 들어 보자. 한 분리뇌 환자가 묘하게도 자기 자신과 싸우고 있었다. 그의 왼손에 도끼를 들고 사람을 치려 하고 있었다. 그런데 이해하기 어려운 일은 그의 오른손이 왼손을 꼭 잡고 있어 풀어주지 않는 것이었다. 이 이상한 사건은 좌우반구가 각각 자기 자신의 의지를 갖고 있다는 것을 시사해 주는 것이다. 오른쪽 뇌는 왼쪽 뇌로부터 독립하면 자기 자신의 충동을 이기지 못해 도끼를 휘두르려 하는 것이다. 말하자면 두 개의 인간성이 인간의 뇌에 들어 있는 것이다.

1982 년 스페리 등은 분리뇌 환자의 눈을 가리고 양손에 물건을 쥐고 물건의 이름을 대도록 하였다. 재미있게도 왼손보다 오른손에 쥔 물건을 더 잘 알아 맞출 수 있다는 것이었다. 우리는 이 실험에서 물체의 이름은 왼쪽 뇌와 관련이 있다는 것을 알 수 있다. 그러나 그림을 왼쪽 뇌와 오른쪽 뇌에 투사시켰을 때 결과는 정반대여서 왼손으로 물건을 더 잘 집을 수 있었다.

예를 들어서 왼쪽에 사과, 오른쪽에 책을 놓고 분리뇌 환자에게 보여주면 이 환자는 책이라는 것을 말로 설명하고 오른손으로 글을 써서 표현할 수 있지만, 왼손으로 실물을 만질 수 없는 것이다. 한편 사과를 왼손으로 잡을 수 있으나 말로 표현하거나 오른손으로 글을 쓸 수가 없는 것이다. 이 메커니즘은 다음과 같이 해석된다.

독특한 눈의 구조에 의해 책의 영상은 왼쪽 뇌로 전달된다. 그런데 이 좌측 뇌는 말하기, 쓰기, 계산을 담당하고 오른손을 제어하기 때문에 책이라 말하고 오른손으로 쓸 수가 있는 것이다. 한편, 우측 뇌는 공간구성, 단순언어, 비언어적 개념과 왼손의 제어를 담당하므로 왼손으로 사과를 집을 수 있는 것이다.

현재도 신경의학자들은 오른손잡이인 경우나 왼손잡이인 경우나 대부분 좌반구가 언어를 처리하는 것으로 보고 있다. 이 기능은 대뇌의 좌반구가 언어를 처리하는 것으로 보고 있다. 이 기능은 대뇌의 좌반구에 브로카 영역과 베르니케 영역 그리고 롤란도 틈에 분포되어 있다. 이 중 브로카 영역과 베르니케 영역은 청각과 언어이해를, 롤란도 틈은 신체의 모든 부위와 발음기관을 감지하고 제어하는 역할을 하는 것으로 알려져 있다.

이와 같은 연구결과에도 불구하고 언어의 기능이 어떻게 획득되고 뇌의 좌우반구에 분화되어 있는가는 현재 거의 불분명하다. 다만 단순한 수동적인 학습이 아니란 것이 여러 관찰로부터 알려져 있다. 6 개월된 유아의 발음은 그 언어체계에 없는 과잉 음절을 풍부하게 포함하고 있으며, 그 후 언어의 습득 과정에서 불필요한 음절이 억제되는 것으로 알려져 있다. 그리고 더 발전하여 10 개월 된 유아의 말은 주로 1 단어로 구성되어 있다. 이와 같이 해서 어린이는 1 일 약 1 단어 1 년 약 5,000 단어를 습득하고 청년이 될 때까지 약 10 만 단어를 획득하는 것이다. 이 언어 습득은 부모나 교사가 하나하나 가르치는 것이 아니고 어린이의 특별한 자기 학습능력에 의해 이루어지는 것으로 알려져 있다.

5) 언어생성 메커니즘

음성 발음에는 복잡한 음성기간의 운동제어 과정이 있다. 음성도 물리적인 음의 파동이다. 생체에서는 이와 같이 물리적인파를 일반적으로 매미의 날개를 비비는 것과 같이 마찰 등으로 기계적으로 내는 것과, 현악기와 같이 공기의 진동을 유발시키는 것과, 관악기와 같이 공기의 흐름을 조절하여 내는 것이 있다. 음성은 여러 가지 운동기관을 사용하여 관악기와 같이 공기의 흐름을 조절하여 발생한다.

우선 공기를 폐로부터 뿜어 내어 음성의 에너지를 발생시킨다. 이 연속적인 호기의 흐름은 후두에 있는 성대를 통과할 때 성대의 주기적인 진동에 의해 단속적으로 공기의 흐름에 변환되어 음성의 음원으로 된다. 이 진동의 반복 주기가 음성의 기본 주파수로 된다. 음원의 파는 후두로부터 앞에 있는 구강과 비강에 보내져 여기서 공명하여 모음과 비음의 특징적인 음색의 음으로 변환된다. 이 세 가지 과정을 호기ㆍ발성ㆍ조음 이라고 한다.

'프' 와 '스' 등의 마찰자음에서는 입술과 혀끝으로 호기의 흐름에 대해 좁혀지는 조절이 이루어져서 잡음적인 음원이 발생한다. '브 드 그' 와 '프 트 크' 등의 폐쇄자음에서는 페쇄에 의해 일시적으로 호기의 흐름이 멈춘다. 그것과 함께 성대 운동의 고도 조절에 의해 진동이 매우 정밀한 타이밍으로 온ㆍ오프되고 있다.

이상이 음성 생성에 필요한 세 가지 과정인 호기ㆍ발성 및 조음은 다수의 운동 기관, 즉 횡경막ㆍ후두ㆍ혀ㆍ턱ㆍ구개ㆍ치아ㆍ입술 등의 협조적인 동작에 의해 실현되고 있다.

6) 언어이해 메카니즘

사람의 목소리와 스테레오로부터 들리는 음악 등 귀를 통해서 얻어지는 외계로부터의 정보는 모든 음파로서 받아들일 수 있다. 청각계에서는 그 음파라는 공기의 조밀파를 신경 임펄스의 형으로 고쳐서 음성의 인식 등 청각의 지각에 필요한 처리를 행한다.

음파는 우선 외이도를 통하여 속에 있는 고막을 진동시킨다. 이 진동은 3 개의 작은 뼈를 통해 내이라는 기계적 진동을 신경 임펄스로 변환하는 기관으로 전해진다. 이 고막으로부터 내이까지가 중이에 해당한다. 내이에는 달팽이관이라는 임펄스 변환기가 있다.

달팽이관의 출력은 청신경이라는 신경 섬유 속의 반 이상을 점유하는 상행성 섬유를 통해서 중추, 측두엽의 청각 처리 부분으로 보내진다. 청신경의 나머지는 거꾸로 중추가 달팽이관의 동작을 제어하기 때문에 하행성 섬유라고 불리워지고 있다. 상행성 섬유는 시각계의 것과 같이 도중에서 중계되지만, 다른 점은 중계 핵이 5 개 이상으로 많으며, 하위의 중계 핵 간의 연락이 밀접한 것이다.

달팽이관은 외계로부터 음파라는 아날로그 신호를 그대로 신경 임펄스라는 디지털 신호로 변환하는 것이 아니라, 수십 헤르츠에서 2 만 헤르츠까지 음을 주파수의 성분으로 나누는 말하자면 주파수 분석을 하면서 변환을 행하고 있다.

외형은 길이가 35 cm 정도인 한 개의 긴 관이 달팽이 모양으로 2 바퀴 반 정도 감겨 있다. 관은 끝이 가늘어지고 중이의 뼈가 접속하고 있는 끝의 밑부분에 단면이 2 평방 밀리이지만, 반대의 끝부분은 10 분의 1 정도로 가늘게 되어 있다. 내부는 임파액으로 차 있고 양단에 뼈의 판으로 지지되어 있는 기저막이라는 얇은 막으로 되어 있다.

달팽이관의 한쪽 끝에 첨가되어 있는 기계진동은 임파액의 속을 끝부분을 향해서 높은 주파수로부터 차례로 감쇄하면서 진행한다. 이 진행파와 함께 기저막은 진동하지만, 기저막의 폭은 밑부분에서 40 미크론, 끝부분에서 500 미크론으로 달팽이관의 직경과는 거꾸로 넓어지기 때문에, 부위마다 잘 진동하는 공진 주파수가 틀린다.

밑에서 끝부분을 향하여, 공진 주파수가 높은 쪽으로부터 낮은 쪽으로 1 줄의 내모와 3 줄의 외모로 구성된 4 줄의 유모가 나란히 배열되어 있다. 이 기저막의 진동을 잡는 것이 기저막 위에 서 있는 것과 같이 나열되어 있는 외모 세포로 직경 양 10 미크론, 길이가 수 십 미크론의 문자 그대로 끝부분에 털이 나 있는 세포이다.

외모세포는 기저막 진동의 신경 임펄스 변환을 2 단계로 나누어 행하고 있다. 기저막의 진동에 따라서 그 위에 올라 타고 있는 외모세포와 그 끝에 있는 털도 진동한다. 이 털은 끝이 기저막 위를 감싸도록 붙어 있는 덮개와 같은 두꺼운 막의 우묵한 곳에 메워져 있기 때문에, 진동할 때 왜곡이 생기고, 털의 근원에서 압전효과에 의해 세포내의 전위가 발생한다.

한편, 내모는 길이가 짧아 덮개와 닿지 않고 다만 임파액의 진동에 의해서 전위가 발생한다. 이런 전위를 달팽이 전위라고 한다.

약 10 만 개의 청신경은 달팽이 전위를 유모세포에 결합한 시냅스를 이용하여 기계적 진동을 검출하고 이에 상당하는 전기적인 신경 임펄스를 발생시키고 있다. 유모세포는 기저막 외측의 가장자리에 3 열로 나열한 외모 세포와 내측의 중앙부에 1 열로 나열한 내모 세포의 두 가지 종류가 있고, 상행성 섬유의 9 할 이상은 3,500 개 정도 있는 내모세포에 접속하고, 역으로 하행성 섬유의 9 할 이상은 2 만 개 정도 있는 외모세포에 접속하고 있다. 이것으로부터 달팽이관의 처리 결과는 내모세포를 통해 중추로 전달되고, 외모세포는 입력 및 중추의 지령으로 달팽이관의 내부동작, 예를 들면 기저막의 부위마다의 움직이기 쉬운 정도를 제어하는 데 이용되고 있는 것으로 시사되고 있다.

청신경은 좁은 범위의 주파수에 대해 대응하는데, 그 범위를 응답범위라고 하며, V 자 형을 하고 있고, 고역쪽의 경사가 날카로운 것이 특징이다. 기저막의 공진곡선도 이것과 똑같이 V 자형의 곡선이 예만하게 도움을 주고 있기 때문이라고 한다.

또 주파수가 수 킬로 헤르츠 이하에서는 입력파의 동기에 의해 활동한다. 청신경으로부터 달팽이관, 하구 내슬상체와 중추를 향하는 것에 함께 기본적인 신호 처리가 이루어지고 주파수 분석과 함께 입력의 온과 오프라는 시간정보처리가 이루어진다. 또한 좌우의 입력 크기ㆍ시간ㆍ위상의 차이와 AM 음, FM 음의 검출이 진행되어 간다.

청각피질에서는 음성의 특정한 포만트 (스펙트럼의 정점 주파수) 에 반응하는 뉴런이 발견되었다. 그러나 청각계에서는 중계핵으로 포만트 추출이 어느 정도 행해지고 있다고도 생각된다. 지금까지 청각피질에 있어서 특징 추출의 연구가 잘 되고 있는 것은 박쥐의 에코로케이션이다. 박쥐는 초음파를 발사해서 표적에서 반사되어 오는 에코에 의해 표적의 크기ㆍ거리ㆍ속도 등 그 특징을 감지하고 있다. 이 특징들은 추출하는 회로가 피질 부위마다 정연히 나열되어 있는 것이다.

음성 인식은 음성을 듣고 이해하는 능력이다

사람의 말을 알아 들을 수 있는 기계를 만들기 위해 거의 40 여년간 여러 과학자가 노력을 하고 있다. 어떤 사람들에게는 기계와 자유롭게 이야기할 수 있는 능력이 인간의 대화능력을 이해하기 위한 목적이 될 수 있다. 다른 이들에게는 가장 자연스럽고 효율적으로 기계와 통신하기 위해 자동 음성 인식을 연구하고 있는 것이다. 최근에는 정보처리를 위한 컴퓨터가 발달하고 기계를 다루는 사람의 부담이 커짐에 따라 이 후자의 목적이 더욱 부각되고 있는 것이다.

1) 음성 인식과 언어학

말을 구성하고 있는 가장 중요한 요소는 소리이다. 말에 쓰이는 소리를 음성이라 한다. 바람소리, 닭우는 소리, 재채기 소리는 소리이긴 하지만 음성이 아닌 것이다. 한 언어의 특성은 우선 음성의 특성으로부터 드러난다. 음성을 파악하는 데는 두 가지 길이 있다. 하나는 그 음성을 발음기관의 물리적 작용에 의해서 파악하는 것이며, 이것을 음성학이라 한다. 다른 하나는 그 음성들이 그 언어에서 하는 기능을 중심으로 파악하는 것이며 이것을 음운론이라 한다.

음운론의 관점에서 보면 일반적으로 말은 문장이란 단위로 구성되어 있다. 이 문장은 다시 주어부, 서술부를 구성하는 몇 개의 구로 구성되어 있다. 이 구는 몇 개의 단어로 되어 있고, 단어는 몇 개의 음절, 그리고 마지막으로 음절은 다시 몇 개의 음소라는 원소로 유기적으로 구성되어 있는 것이다.

자음과 모음으로 구성된 음소의 갯수는 약 40 개로 되어 있고 영어의 경우 약 50 개로 되어 있고, 일본어의 경우는 그 갯수가 훨씬 적다. 한글에서 음절은 초성과 중성과 종성의 세 부분으로 되어 있고, 중성인 모음은 꼭 있어야 하며, 다른 초성과 종성은 자음으로 구성되어 있어 있을 때도 있고 없을 때도 있는 것이다. 따라서 통계를 내 보면 대략 2,500 개 정도의 음절이 있다.

한편 단어는 한 개 이상의 음절로 되어 있어 이론상 무한히 많은 단어가 있을 수 있으나, 통계를 내 보면 약 100 만 개의 단어가 있다고 볼 수 있다. 한 개 이상의 단어들로 된 문장의 갯수는 물론 무한히 많을 것이다.

우리가 말을 한다는 것은 문장으로부터 음성을 발생하는 것이며, 우리가 언어를 이해한다는 것은 음성을 듣고 음소로부터 문장까지의 순서로 추출하고 합성해 낼 수 있다는 것이다. 따라서 음성 인식이란 여러 학문 분야가 복합적으로 협동해서 이루어내야 할 분야이다. 이에 관련된 분야를 보면 음성학ㆍ음운학ㆍ음운배열론ㆍ시형론ㆍ구문론ㆍ의미론ㆍ어형론이 있다. 여기서 음성학에서 시형론까지의 학문은 음성신호의 패턴을 연구한다. 의미론ㆍ어형론은 이 패턴의 의미를 연구한다. 그리고 구문론은 이 두 분야의 중간자로서 음성의 패턴과 의미를 연결짓는 패턴의 배열 법칙을 연구하는 것이라 할 수 있다.

2) 음성 인식과 신호처리

음성 인식을 더 넓은 음성 처리 분야와 관련해서 조명해 보아야 할 것이다. 일반적으로 음성 처리 분야는 신호처리 분야의 일부로서 다시 음성 코딩, 음석 인식, 음성 합성으로 구분된다.

음성 코딩 분야에서는 음성 신호를 효율적으로 전송 및 저장하기 위한 코딩을 연구하고, 음성 인식 분야에서는 음성 신호를 문장으로 변환하는 음성 인식 및 음성 신호로부터 화자를 알아내는 화자 인식을 연구하며, 음성 합성 분야에서는 문장을 음성 신호로 바꾸는 음성 합성 및 사람의 목소리를 변환시키는 음색 변환을 연구한다. 이 세 분야는 시스템의 입출력 신호의 관점에서 보면 더욱 명확히 이해할 수 있다. 즉, 음성 코딩 시스템의 입출력은 모두 음성 신호이고, 음성 인식 시스템의 입력은 음성 신호이지만 출력은 심볼이며, 음성 합성 시스템은 이와 반대로 입력이 심볼이고 출력이 음성 신호이다.

3) 음성 인식 시스템의 판정기준

주어진 음성 인식 시스템을 기능면에서 판정하는 데는 여러 가지 판정기준이 있겠으나 크게 나누어 화자 종속ㆍ화자 독립, 고립 단어ㆍ연속 단어, 처리 단어 수라고 볼 수 있다.

<그림 2> 음성 인식의 세 가지 과제

음성 인식 시스템이 특정한 화자의 목소리만 알아들을 때 이를 화자 종속이라 하고, 그렇지 않을 때를 화자 독립이라 한다. 그리고 발음할 때 단어와 단어 사이를 묵음으로 의도적으로 분리할 때를 고립 단어 인식이라 하고, 일상 대화에서처럼 단어를 연속적으로 발음할 때를 연속 단어 인식이라고 한다. 아울러 인식할 수 있는 단어의 수도 많을수록 좋을 것이다. 물론 화자 독립, 고립 단어, 적은 단어를 처리하기가 그렇지 않을 때보다 훨씬 쉬운 것이다.

기타 인식률, 사용하는 문법 및 잡음특성 등의 판정기준이 있으나 앞의 세 기준이 가장 주요한 기준이다. 현재 이 세 가지 조건을 모두 만족하는 시스템은 아직 없으며, 이 조건들을 모두 만족하는 시스템을 구현하려는 것이 이 분야연구의 궁극적인 목표라 할 수 있을 것이다. 이제 이 세 조건 중 하나를 만족하는 시스템을 제 1 세대, 두 조건을 만족하는 것을 제 2 세대, 전부 만족하는 것을 제 3 세대라고 하자. 이와 같은 기준에서 보면 현재 영어의 경우 두 가지 조건을 만족하는 시스템이 상품으로 나와 있어 제 2 세대에 진입해 있다고 할 수 있으나, 한국어는 아직 제 1 세대에 머물러 있는 실정이다.

고전적인 알고리즘 하에서는 이들 세 가지의 문제는 서로 상충되는 성격을 갖고 있다. 연속 음성을 인식하기 위해서는 단어수를 몇 개로 제한해야 하고, 인식할 수 있는 화자의 수도 몇 명으로 한정해야만 가능하다. 즉 한 문제를 해결하기 위해서는 다른 두 문제의 희생이 불가피하였다. 이 중 화자 독립의 문제가 비교적 쉬우며 연속 음성을 인식하는 문제가 제일 어렵다. 지금까지의 음성 인식 분야에서 이들의 문제를 해결해 온 과정을 초기, 중기, 말기로 나타낼 수 있다.

<표 1> 에서 볼 수 있듯이 음성 인식의 초기 단계에서는 주로 화자 독립의 문제를 해결해 왔고, 중간 단계에서는 인식되는 단어의 수를 늘리려는 연구가 진행되어 왔다. 현재는 화자 독립, 무한 단어, 그리고 연속 음성을 모두 해결하려고 노력하고 있다.

<표 1> 음성 인식의 발전단계

4) 음성 인식 시스템의 구조

음성 인식 시스템을 구현하기 위해서는 전처리, 패턴 인식, 후처리의 3 단계가 필요하다. 전처리 시스템은 청각 시스템에서와 같이 음성 신호로부터 시간 및 주파수 영역의 특징을 추출해 내는 작업이라고 볼 수 있다. 이 특징으로 간략히 표현된 음성 신호를 패턴 인식부에서 음소ㆍ음절ㆍ단어라는 문장의 원소를 인식해 낸다. 다음에 후처리부에서 이 원소를 재구성해 문장을 복원해 내는 것이다. 따라서 전처리부는 변환, 패턴 인식부는 패턴분류, 후처리부에서는 언어처리의 기능을 수행한다고 볼 수 있는 것이다. 따라서 패턴 인식부에서는 음성학ㆍ음운학ㆍ음운 배열론 및 시형론의 지식을 이용해야 하고, 후처리부에서는 구문론ㆍ의미론ㆍ어형론의 지식을 이용해야 한다.

이 중 전처리부는 청각 시스템의 와우각 기능에 해당하는 것으로서 음성 신호의 주기성과 동기성의 정보를 끄집어 내는 것이다.

음성 인식 방법 중 특히 패턴 인식 알고리즘이 현재 가장 활발히 연구되고 있는데, 크게 템플릿 기반으로서 DTW, HMM, 지식 기반 시스템, 신경망으로 구분할 수 있다. 여기서 DTW 는 동적 프로그래밍 (dynamic programming) 을, HMM 은 확률추정을, 지식기반 시스템은 인공지능을 이용한 추론을, 신경망은 패턴 분류의 기능을 이용해 동일한 문제를 각기 다른 방법으로 풀고 있다고 볼 수 있다. 현재 가장 앞선 시스템이 HMM 이라 할 수 있고, 신경망 시스템은 아직 HMM 정도의 수준에 이르지 못하고 있다.

후처리 시스템으로서 언어처리 알고리즘은 구문규칙 모델과 통계적 모델이 있다. 구문규칙 방식은 구문론 규칙에 따라 매 단어 다음에 올 수 있는 단어의 종류를 제한해 문장을 구성하는 방식이다. 한편, N - gram 으로 표현되는 통계적 모델은 매 단어에 대해 이전의 N 개의 단어가 발생할 확률을 고려해 문장을 인식한다.

5) 음성 인식 시스템의 기본구조

이제 음성 인식 시스템의 세 가지 기본구조를 살펴 보자.

음성 인식 시스템은 몇 개의 서브 시스템으로 구성되며, 각 서브 시스템은 입력 신호를 받아 미리 준비된 테이블 또는 사전에 기록된 아이템과 비교하여 가장 근사한 아이템을 선정해 출력으로 내놓게 된다. 이 입력 신호와 사전내의 아이템과 비교하는 것이 음성 인식 알고리즘의 가장 기본 기능으로서 패턴 매칭 또는 패턴 분류라 한다.

음성 인식 시스템 내의 각 부분의 음성 신호를 정보량의 관점에서 고려해 보자. 음성신호는 초속 1 만 개의 샘플로 생각할 수 있다. 이것은 초속 1,000 개의 음소, 초속 100 개의 음절, 초속 10 개의 단어, 또는 초속 1 개의 문장으로 간주할 수 있다. 또 사전을 만든다면 100 개의 음소를 포함한 음소 사전, 1 만 개의 음절을 포함한 음절 사전, 100 만 개의 단어를 포함한 단어 사전이 필요하다.

이런 관계를 이용해서 음성 인식 시스템을 단어기반 시스템, 음절기반 시스템, 음소기반 시스템의 세 가지로 크게 나누어 구분할 수 있다. 단어기반 시스템은 음성을 단어로 바꾼 다음 다시

<그림 3> 단어ㆍ음절ㆍ음소기반 음성 인식 시스템

단어를 문장으로 바꾸는 두 개의 서브 시스템으로 구성되어 있다. 먼저 초속 1 만 개의 샘플로 들어오는 음성 신호를 100 만 개의 어휘와 비교하여 가장 가까운 단어를 끄집어 내어 초속 10 개의 단어로 변환해 낸다. 따라서 입력에서 출력까지 데이터가 1,000 배 압축된다. 다음에 초속 10 개의 단어 시퀀스로부터 초속 1 개의 문장으로 바꾸어 데이터를 10 배 압축시킨다.

음절기반 시스템은 음성에서 단어를 뽑아 내는 블록을 다시 두 부분으로 나눈 것이다. 처음 부분은 음성 신호로부터 100 개의 음절 목록을 수록하고 있는 테이블을 이용해 초속 100 개의 음절 시퀀스로 바꾸어 100 배 데이터 압축을 한다. 뒤이어 이 음절 시퀀스로부터 100 만 개의 단어 테이블을 이용해 초속 10 개의 단어 시퀀스를 발생하여 10 배 데이터 압축을 한다.

음소기반 시스템은 음절 인식 시스템의 음절 인식 블록을 다시 두 부분으로 나눈 것이다. 여기서 처음 블록은 음성 신호로부터 100 개의 음소 목록을 수록하고 있는 테이블을 이용해 초속 1,000 개의 음소 시퀀스를 발생해 10 배 압축한다. 이어 초속 100 개의 음절을 발생시켜 10 배로 압축한다.

이 세 가지 시스템은 각기 장단점이 있다고 본다. 단어기반 시스템은 인식 어휘 수가 적은 경우에 대단히 유리할 것이다. 아울러 시스템 구조가 대단히 간단해 실용적일 것이다. 그러나 일반적인 음성 신호를 처리하기에는 단어 사전의 크기가 너무 커 저장하거나 찾는 데 힘들 것이다. 그리고 음소인식 시스템은 대용량 어휘, 화자 독립, 연속 단어 음성 인식을 위한 궁극적인 해결책이 될 것이다. 그러나 이 방법은 가장 복잡한 시스템으로서 음소와 음절을 정확하게 뽑아 내기 위해서는 인간의 청각과 언어중추의 메커니즘에 대해 앞으로도 많은 연구가 뒤따라야 하는 형편이다. 그리고 음절 인식 시스템은 이 두 방식의 중간적인 특성을 띠게 될 것이다. 현재 상품화되어 있는 시스템들은 거의 전부 단어인식 시스템을 채택하고 있다고 볼 수 있다.

한국어는 특히 음절이 발달하여 음절을 인식한 후 단어를 인식하려는 연구가 진행되고 있다. 음소를 인식하여 단어를 인식하는 시스템은 몇 개 안되는 음소를 정확히 인식하여 무한단어, 화자독립의 문제를 해결할 수 있고, 음소들의 변화과정을 잘 처리하여 연속 음성 이식의 해결 방법으로 이용할 수 있다.

6) 음성 인식의 문제점

일찍부터 연구되기 시작한 음성 인식 시스템은 여러 가지 어려운 점 때문에 실용화가 늦어지고 있다. 즉, 음성은 화자의 신체적인 상태와 시간에 따라 음성신호의 크기가 심하게 변한다. 또한, 음의 앞뒤 관계에 따른 다양한 음운변화 현상이 관측된다. 더구나 같은 단어를 한 사람이 발음하더라도 시간적인 길이의 변화가 심하여, 시간지연 현상이 빈번함에 따라 단어의 파형이 크게 변화한다. 따라서 음성 인식 시스템은 이러한 점에서 영향을 받지 않기 위해서 스케일 불변, 학습 능력, 시간 왜곡, 그리고 시불변 기능을 가지고 있어야 한다. 이러한 기능은 신경망이 특히 장점을 발휘하는 부문인 것이다.

음성 인식의 응용

1) 음성 인식의 응용 분야

차세대 전자제품으로 서서히 부상할 음성 컴퓨터나 음성 로봇, 멀티미디어에도 음성 인식 시스템이 중요한 역할을 차지할 것이 분명하다. 이 분야에 대해 엄청난 연구활동을 기울이고 있는 미국과 일본 등 외국에 비해 이미 나와 있는 것들만 따라가고 새로운 기술 개발을 주저한다면 영원히 선진국을 따라 가기에 급급할 것이 분명하다. 조만간 음성 컴퓨터가 나오면 어떻게 할 것인가? 펜 컴퓨터의 경우처럼 또 다시 따라가는 데 급급할 것인가? 이런 맥락에서 현재 국책적으로 추진하고 있는 HAN 프로젝트 중 인공지능 컴퓨터 과제에도 음성 인식 시스템 구현이 중요한 역할을 차지하고 있다.

음성 인식의 응용 분야를 난이도에 따라 크게 음성 제어, 음성 타자기, 음성 컴퓨터 (대화형 컴퓨터), 및 음성 로봇 자동 통역 등의 네 가지로 분류할 수 있을 것이다.

<표 2> 음성 인식의 응용 분야

2) 음성 제어 응용

음성 인식이 실현되면 여러 가지 전자제품을 제어할 수 있을 것이기 때문에 이러 제품군을 음성 제어라 하자. 이 시스템은 각 종 기기를 음성으로 제어할 수 있는 장치이다. 우리는 운전을 하면서 자동차에 여러 가지 명령을 내릴 수 있다. 가정에서도 TV 를 향하여 채널을 바꾸도록 명령할 수도 있고, 오디오 시스템에 대해서도 방송국을 바꾸도록 명령을 내릴 수 있을 것이다. 이와 같이 음성 인식의 초보단계도 무한히 많은 응용분야가 있는 것이다.

육성을 이용한 가정 자동화 (HA) 시스템은 이미 국내 시중에도 수입품이 나와 있다. 육성으로 TVㆍ오디오ㆍ조명기기ㆍ에어컨ㆍ커피메이커 등 가전제품의 작동은 물론 각종 감지기를 채택하여 방범방제 기능을 수행하는 음성인식 가정자동화 시스템인 것이다.

3) 음성 타자기

이 음성 인식 기능에 문법 처리 기능까지 부가할 수 있다면 음성 타자기를 구현할 수 있을 것이다. 음성 타자기는 음성을 이용해서 문서나 서류를 작성할 수 있게 하는 타자기를 말한다. 따라서 소설을 쓴다거나 서류를 작성한다든가 법정에서 속기를 한다거나 하는 글을 써야 하는 분야에 대혁명이 일어 날 것이다.

4) 음성 컴퓨터 및 로봇

여기에 음성합성 및 자연어 처리 기능을 더하면 음성 컴퓨터나 로봇을 구현 할 수 있는 것이다. 음성 컴퓨터는 사람과 컴퓨터간의 정보전달 매체로서 음성을 사용하는 컴퓨터를 말하며, 컴퓨터 시스템의 최종 목적이라고 할 수 있다. 컴퓨터의 입출력 장치는 키보드와 모니터로 시작되었고, 몇 년 전부터 마우스와 같은 장치가 부착되어 사용되어 왔다.

최근에는 펜을 이용한 입력장치를 갖춘 펜 컴퓨터가 실용화되고 있다. 하지만 이러한 입력기기는 모두 손을 이용한 입력장치란 점에 그 한계가 뚜렷하다. 따라서 최종적으로는 사람이 정보를 전달하는 데 있어서 가장 쉽게 사용하는 음성을 정보교환의 매개체로 사용하는 컴퓨터가 등장할 것이다. 컴퓨터를 사용할 때 키보드를 치거나 펜으로 그림을 그리지 않아도 우리는 315 / 25 와 같은 수치 계산을 말로 하고 들을 수 있는 것이다.

1992 년 2 월 미국 캘리포니아 주 몬테레이에서 애플사가 주최한 전시회에는 500 여 명이 참석해 최첨단 매킨토시 컴퓨터를 관람하였다. 이 컴퓨터는 구두명령을 알아 들을 수 있어서 서류를 정해진 크기로 바꾼다든지, 각종 공과금 지불, 전자전화번호부를 이용한 전화 연결, 컴퓨터 마우스의 사용 및 기타 정상적인 명령에 따른 기능 등을 수행할 수 있었다. 매킨토시는 또 일단 명령 작동을 완수하면 일을 마쳤다고 말하거나 사용자에게 또 다른 일을 원하는 가를 묻고 응답할 수 있었다. 인공지능 창시자의 한 사람인 MIT 공대의 민스키 교수도 이 몬테레이 전시회에 참관해 감명을 받고 있다. 이와 함께 IBM, AT & T 벨 연구소, 쿼즈와일 연구소 등 유수한 여러 컴퓨터 회사나 연구소에서 음성작동 컴퓨터를 발명하기 위해 모든 노력을 경주 매진하고 있는 상황이다.

우리는 (스페이스 오디세이 2001) 라는 영화에서 우주선을 관장하고 있는, 또 HAL 이라는 컴퓨터나 <스타트랙> 이라는 영화에서 컴퓨터가 우주인들과 말로 대화를 하는 것을 본 적이 있을 것이다. 더구나 <테미네이터> 이라는 영화에서 등장하는 인공지능 컴퓨터도 인간처럼 보고 듣고 생각할 수 있는 것이다. 불행하게도 HAL 이나 터미네이터에서의 컴퓨터들은 인간을 배반하고 만다. 아무튼 이 기능은 컴퓨터뿐만 아니라 로봇을 명령하고 불평을 들을 수 있는 것이다. 음성 로봇은 사람의 음성명령을 이해하는 지능형 로봇을 말한다. 이 음성 로봇은 계기판을 장착하기 힘든 산업현장이나 로봇의 사용에 익숙하지 못한 사용자에게 로봇을 쉽게 다룰 수 있게 해 줄 것이다. 이 기능을 갖는 컴퓨터나 로봇은 우리 인간 생활의 산업혁명에 이은 대 혁명을 가져다 줄 것이 분명하다.

본 저자의 연구실에서는 로봇을 말로서 명령하는 음성 인식 시스템을 개발하고 있다. 이 시스템은 예를 들면 '오른쪽으로 20 센티 이동!' 하면 로봇이 이 말을 되받아서 반복하고 로봇팔이 오른쪽으로 20 cm 만큼 움직이는 것이다. 1992 년 8 월 현재 화자에 구애됨이 없이 약 97% 인식하고 있다. 아울러 음성으로 컴퓨터로 작동할 수 있는 시스템을 만들고 있다. 이로서 키보드나 마우스를 사용하지 않고도 말로서 컴퓨터를 작동시킬 수 있는 것이다.

5) 자동통역 장치

컴퓨터 및 통신기술의 발달에 따른 정보화와 국제화가 급속히 진전되면서 국제간 통신의 최대 장애물인 1,500 개나 되는 언어간의 언어장벽을 컴퓨터를 이용해 극복하려는 노력이 가속화되고 있다. 이미 80 년대 중반부터 선진 각국에서는 다양한 기계번역 시스템이 등장했으며, 오는 2000 년대 초에는 자동통역 시스템이 실용화될 것으로 전망되고 있다.

자동통역 시스템이 실용화되면 우선 외국인과의 국제전화도 우리말로 할 수 있다. 이 자동통역장치가 실현되기 위해서는 음성인식 합성 시스템과 자동번역 시스템이 결합하여야 한다. 이제 한국어와 영어 대화자 간의 통화를 가상해 보자. 먼저 한국사람의 말을 음성인식장치를 이용해 한글 문자로 바꾸어야 한다. 다음에 이 한글 문장을 영어 문장으로 바꿀 수 있는 자동변역 시스템이 있어야 한다. 이렇게 번역된 영어 문장을 음성합성장치를 통해 영어 발음으로 전달하면 되는 것이다. 그러나 이 음성인식 합성과 마찬가지로 자동번역 장치를 만든다는 것은 대단히 어려운 일이다.

또 국제회의시의 동시통역이나 회의록 작성도 자동으로 처리할 수 있게 된다. 더욱이 보청기 형태의 휴대용 통역기까지 등장해 누구나 이 장치를 착용함으로써 세계여행을 부담없이 즐길 수 있는 시대가 돌아올 것이다. 이미 일본과 미국에서는 의료나 교통관광, 국제회의 등 특정한 분야에서 수백 개 단어로 된 간단한 회화를 영어와 일어로 통역해 주는 자동통역 시스템 실험 모델들이 개발되어 향후 자동통역 전화 등의 실용화 전망을 밝게 하고 있다.

이 자동통역 시스템은 음성인식부, 기계번역부, 음성 합성부로 구성되어야 한다. 한 나라의 언어로 음성을 입력하면 이를 인식해 문자 또는 부호로 구성된 문장으로 바꾸는 역할을 하는 것이 음성인식부이다. 이 문장을 상대국 문자로 된 문장으로 변환하는 것이 기계번역부이다. 마지막으로 이 문장을 다시 음성으로 합성해 상대방에게 전달하는 것이 음성합성부이다. 따라서 이 세부분을 구현하기 위한 핵심 기술이 발전되어야 하는데, 이는 귀에 해당하는 음성인식 기술, 머리에 해당하는 기계번역 기술, 그리고 발성기관에 해당하는 음성합성 기술인 것이다.

음성인식 기술을 위해서는 음성인식 자연어 처리가 전제되어야 하고 기계번역을 위해서는 자연어 처리는 물론 자연어 이해까지도 가능해야 한다. 음성합성도 자연어 처리와 음성합성 기술이 필요하다.

자동통역기의 핵심 기술의 하나인 기계번역은 컴퓨터를 이용하여 한 나라의 언어로 된 문장을 다른 언어로 옮기는 것으로, 선진국에서 50 년대부터 연구가 시작되어 80 년대 중반 이후 수십 종의 기계번역 시스템이 상용화되어 다양한 번역 서비스를 제공하고 있다.

기계번역의 역사를 거슬러 올라 가면 에스페란토어에 도달하게 된다. 19 세기 말에 에스페란토어를 발명해서 국제어로 삼아 언어의 장벽을 넘으려 했으나 성공하지 못한 것이다.

그리고 1946 년 최초의 대형 전자계산기인 ENIAC 가 등장하면서 인공지능의 한 기능으로서 자동번역연구가 시작되었다. 최초의 기계번역에 관한 구상으로서 1933 년에 러시아의 트로얀스키가 발표하고 특허까지 획득했다. 그가 구상한 것은 한 언어에서 다른 언어로 번역할 때 3 단계를 거치는 것이다. 첫 단계에서 번역하려는 언어를 아는 사람이 주어진 문장을 특수한 기본 형태로 바꾸어 주면 둘째 단계에서 기계가 이 기본형태를 목표 언어의 기본 형태로 바꾸어 주고, 세 번째 단계에 가서는 이 목표 언어를 아는 사람이 이 기계가 번역한 것을 편집하여 자연스러운 문장으로 바꾸는 것이다. 즉, 기계는 단지 자동사전 역할을 하도록 되어 있는 것이다.

괄목할 만한 기계번역 실험이 실제로 시도된 것은 1954 년으로 미국의 조지타운 대학과 IBM 이 공동으로 러시사어를 영어로 번역하는 것이었다. 그 때 사용된 구분 규칙은 6 개, 사전에 등록된 단어 수는 250 여 개 뿐이었으나. 이때 행한 데모는 대단히 성공적이어서 이 시스템은 토마에 의해 개량되어 SYSTRAN 이란 세계 최초의 상용 시스템이 되었고, 미 공군에서도 사용하여 왔다. 그 당시에는 미국에서 기계번역이 활발하였는데 이 주원인 중의 하나가 당시 소련 우주과학에 관한 기술 문헌을 대량 번역해야 했기 때문이다.

그 후 미국과 유럽을 중심으로 세계 각국에서 기계번역에 관한 연구가 이루어져 1970 년까지 15 개 국가 45 개 연구기관으로 불어났다. 그러나 1960 년대 중반에 이 연구가 중단된 적이 있는데 그것은 당시 컴퓨터의 하드웨어 성능이 역부족이기 때문이었다. 컴퓨터의 가격과 성능이 현저하게 진전을 이룩한 1980 년대에 들어오면서 이 분야의 연구가 다시 활기를 띠게 되었다. 일본은 국제적인 우위를 차지하기 위해 이 분야 연구에 박차를 가하고 있는 데, 일본 전기의 일영 쌍방향 자동통역 시스템은 불특정 다수의 소리를 인식할 수 있는 시스템으로 95% 이상 정확히 인식할 수 있고, 인간의 말과 유사한 세련된 음성을 합성하면서도 한 문장을 처리하는 데 5 초 정도 걸리고 있다.

국내에서는 1970 년대 후반부터 연구소와 대학을 중심으로 연구가 시작되어 1988 년도는 과학기술연구원 시스템 공학연구소가 후지쓰와 공동으로 일한 번역 시스템 ATLAS /JK 를 개발한 데 이어, 1991 년 한국 후지쓰가 한일 번역 시스템을 개발하였다. 전문서적 번역률이 90% 이상인 이 일한 번역 시스템은 상품화에 성공해 1992 년 초부터 대성전산이 국내 상용 서비스에 들어갔으며, 한일 번역 시스템은 상품화 작업 중에 있다. 또 일본의 고전사는 J-Seoul 이라는 일한 번역기를 개발해 일본 경제 뉴스 및 신기술 정보의 번역 서비스를 1992 년 3 월부터 팩스로 제공 중이며, 시스템 공학 연구소는 일본과학기술 데이터베이스의 온라인 번역 서비스를 1995 년을 목표로 연구 중에 있다. 영한번역 시스템은 서울대와 한국 IBM 이 중형 컴퓨터급으로 1991 년 1 차 개발을 완료한 데이어, 시스템 공학연구소와 과학 기술원이 순수 국내 기술로는 처음으로 워크스테이션급 번역 시스템을 1992 년에 공동개발 1994 년 이후 상용화할 예정이다.

한국통신은 1991 년부터 전자통신연구소, 과학기술원, 대학 등과 공동연구개발체제를 구축하고 오는 2000 년까지 3,000 개의 단어를 가지는 한일통역기 실험 모델을, 2005 년까지 1 만 단어 이상을 구사할 수 있는 통역 시스템을 개발할 계획이다.

6) 음성 인식 전망

여기에서 음성 인식 단독으로 이러한 시스템이 완성되는 것은 아니지만 음성 인식 시스템이 이들 모든 응용분야의 중요한 부분을 차지하고 있다고 볼 수 있을 것이다.

현재는 음성 인식 기능이 부분적으로 개발되어 있어 제한된 범위의 음성 제어 제품을 구현할 수 있는 단계라 할 수 있을 것이다. 예를 들어서 TV 를 켜고 끈다든지 카폰에서 전화를 건다든지 하는 간단한 응용들이다. 그러나 1990 년대 중반에 이르면 음성 타자기가 등장할 것이고, 1990 년대에는 음성 컴퓨터나 로봇도 시중에 나와 있을 것이다. 자동통역 시스템은 2000 년대 초에나 상품으로 개발되지 않을까 생각된다.

이제 시장에 나온 음성 인식 제품을 살펴 보자. 다음 <표 2> 는 1987 년도 조사된 음성 인식 제품을 수록하였다. 이 표에서 보면 화자독립, 연속음성을 다룰 수 있는 제 3 세대 제품은 아직 나타나지 않고 있다. 제 2 세대 음성 인식 시스템에 접어든 셈이다. 제 2 세대의 첨단 제품은 화자독립의 기능이 있으며, 40 개의 고립단어를 98.5% 인식할 수 있는 보이스 컨트롤 시스템과 연속음성 기능이 있으며, 2 만 개의 단어를 화자종속 90% 인식할 수 있는 스피치 시스템 제품이다. 그리고 제 1 세대 제품으로 가장 성능 좋은 것은 1,000 개의 단어를 인식할 수 있는 제품들임을 알 수 있다.

<표 3> 은 1990 년도 음성인식 제품들을 수록하고 있다. 이제 제 3 세대 제품이 등장하고 있음을 알 수 있다. 포네틱 시스템은 무려 1 만 단어 이상을 처리할 수 있다. 그리고 제 2 세대 제품들은 100 단어까지 처리하는 것들이 나와 있다. 가장 기능이 떨어지는 제 1 세대 제품은 2,000 단어를 처리하는 시스템이 있음을 알 수 있다.

아울러 <표 4> 는 최근의 제품들을 요약한 것이다.

이 조사에 따르면 아직 화자종속 제품이 화자독립 제품보다 많이 나와 있다는 것을 알 수 있다. 현재 시중에 나와 있는 첨단제품은 화자독립 연속단어 제품인데 겨우 10 개의 어휘를 90% 정도 인식할 수 있는 시스템인 것을 알 수 있다.

이와 같이 해서 화자종속 연속음성의 무한히 많은 단어를 매우 정확하게 인식하는 것은 대단히 어려운 일이어서 이 분야 연구에서는 궁극적인 목표가 되는 것이다.

<표 2> 1987 년도 음성 인식 제품

                                                                                       (단위 : 달러)

<표 3> 1990 년도 음성 인식 제품

<표 4> 상용 제품의 성능

                                                                                                               (단위 : 달러)

음성 인식용 신경망

먼저 신경망의 일반적 특징을 설명하고, 이어 음성 인식용으로 사용되는 신경망들을 소개하고자 한다.

1) 신경망의 특성

1980 년대에 접어 들면서 사람의 정보처리능력이 음성 처리, 화상 처리, 제어 분야에서 컴퓨터보다 탁월하다는 사실에 근거하여 연구되기 시작한 신경회로망은 사람의 정보처리 과정을 모델링하여 간단하고 많은 처리 요소들을 병렬로 상호 연결하여 학습을 통해 입력 패턴에 내재하는 정보를 스스로 찾아 처리할 수 있도록 고안되었다.

최근들어 신경망을 이용한 음성 인식이 다양하게 시도되고 있으며, 음성 인식에 있어서 몇 가지 새로운 가능성을 보여주고 있는데, 그 이유는 다음과 같다.

첫째는 사람의 자연스러운 음성을 인식하기 위해서는 무엇보다도 매우 높은 계산 속도가 요구되는데, 신경망은 간단하고 많은 처리 요소들을 병렬로 연결하여 높은 계산 속도를 제공해 줄 수 있다. 컴퓨터의 구성 요소인 트랜지스터는 신경계의 구성 요소인 신경세포보다 1 억 배 정도 빠르게 정보를 처리하지만 트랜지스터로 구성된 슈퍼컴퓨터가 아주 하등한 동물인 파리의 신경계보다도 훨씬 뒤떨어지는 이유는 어디에 있는 것일까? 이것은 기존의 디지털 컴퓨터가 정보처리를 한 개씩 단계적으로 처리하는 데 반해 신경망은 정보처리를 병렬적으로 처리하기 때문이다.

둘째는 신경회로망의 연결강도의 일부분이 여러 가지의 에러에 의해서 훼손되어도 신경회로망은 특별한 오동작을 하지 않으며, 이는 역으로 잡음이나 처리할 수 있는 것이다. 그러나 디지털 컴퓨터는 전기적인 신호가 수백만 개의 소자를 단계적으로 거쳐야 하기 때문에 이 회로 중 어느 한 소자가 고장나도 컴퓨터 전체가 못 쓰게 되는 것이다.

또한 신경회로망은 학습에 의해 내부구조를 적절하게 변형시킴으로써 특수한 분야에서 기준의 알고리즘이 갖지 않는 특별한 기능을 갖게 된다. 따라서 새로운 문제나 현상이 관측되면 그 문제를 해결할 수 있도록 신경망을 변형, 발전시켜 최종 목적에 도달할 수 있다. 연속음성인식에 가장 중요한 시불변 특징이 시간지연 신경망 (TDNN : Time Delay Neural Network) 에 존재하는 이유는 시간지연 신경망의 특별한 내부구조에 기인하기 때문이다.

이러한 병렬처리, 내구성, 학습 특징을 갖는 신경망은 기능적으로 크게 두 가지 능력을 갖고 있다고 본다. 즉, 패턴 분류와 최적화의 기능이다. 패턴 분류란 주어진 데이터를 미리 정해진 카테고리로 분류하는 능력이다. 여기서 카테고리란 동질의 특성을 갖는 구성 단체를 말한다.

한편 최적화 능력은 함수의 최소값을 주는 해를 찾을 수 있는 능력을 말한다. 결국 인간의 지능은 이 두 가지 기능의 결합으로 이루어지는 것이 아닌가 한다. 예를 들어 보면, 음성 인식은 패턴 분류의 과정이 같고 시각을 통한 물체 인식은 최적화 과정이 아닌가 한다. 즉, 음성을 인식하기 위해서는 음성 신호로부터 저차원의 정보에서 고차원의 정보를 추출해 내는 과정이라 볼 수 있기 때문이다. 그러나 물체 인식은 에너지라는 함수를 최소화하는 해를 찾는 과정의 연속이다.

2) 음성 인식용 신경망

음성 인식용 신경망은 데이터로부터 시간에 따라 불변하는 정적인 정보를 끄집어 내느냐, 시간에 따라 변하는 동적인 정보를 끄집어 낼 수 있느냐에 따라 정적인 신경망과 동적인 신경망으로 구분할 수 있을 것이다.

한편, 음성 인식용 신경망을 학습능력에 따라 지도학습과 자율학습 신경망으로 구분하기도 한다. 신경망에 한 패턴을 보여주면 이미 정해져 있는 내부 구조와 신경 세포간의 연결 강도에 따라 결정된 출력이 나올 것이다. 만약 어떤 출력이 나와야 할지 그 해답을 미리 알고 있다면 신경망의 출력이 해답으로부터 얼마나 벗어나 있는지 오차를 계산할 수 있을 것이다. 이 오차를 줄이는 방향으로 신경망 내부 연결강도의 값을 변화시키면 우리가 원하는 학습을 달성할 수 있는 것이다. 이를 지도학습이라 한다. 반대로 데이터만 가지고 있고 그들의 공통된 특징이나 해답을 알 수 없을 때 스스로 찾아 갈 수 있는 것이 자율학습인 것이다.

음성 인식에서 동작 특성이 중요한 이유는 음성 신호로부터 추출할 패턴의 성질이 정적인 것인지 동적인 것인지 먼저 판단해야 하기 때문이다. 예를 들면 정적인 신경망의 대표적인 것은 다층 퍼셉트론, 자율조직 신경망 및 ART 가 될 것이다. 동적 신경망은 시간지연 신경망과 회기신경망이 될 것이다. 아울러 지도학습의 대표적인 예는 다층 퍼셉트론ㆍ합필드 망ㆍ해밍 망ㆍRCE 이고, 자율학습의 대표적인 예는 자율조직 신경망 ARTㆍ다윈 망이다.

음성 인식을 구현하기 위해서는 음성 신호로부터 특징되는 패턴을 안정적으로 추출할 수 있는 능력이 있어야 한다. 우선 음성 신호의 시간축 왜곡 현상을 처리해야 한다. 다음에 단어의 시작과 끝을 미리 알 수가 없으므로 해석시간 구간내 어느 부분에 단어가 위치하더라도 찾아낼 수가 있어야 하므로 시불변해야 한다. 아울러 특징추출능력이 음성 신호의 진폭이 절대적 크기에 무관해야 하므로 스케일이 불변해야 할 것이다. 아울러 특징 추출능력이 화자에 따라 변해서는 안 되므로 화자독립해야 한다. 또한 패턴 인식 능력에 있어서 음성 신호로부터 포만트 분포와 같은 정적인 특징과 포만트 천이와 같은 동적인 특징을 추출할 수가 있어야 한다.

이런 불변 특성과 패턴 인식 능력을 이용할 수 있다면 화자독립 연속음성인식을 실현할 수 있을 것이다. 말하자면 화자독립 특성은 화자불변 기능으로부터 가능해지는데 이것은 신경망의 일반화 특성 때문이다. 일반화란 기존의 지식으로부터 일반적인 사실을 도출해 낼 수 있는 능력을 말한다. 그리고 연속음성인식은 시불변특성 때문에 가능해진다.

이런 기능을 모두 구비하도록 설계된 신경망 중의 하나가 현재 이 분야에서 많이 쓰고 있는 시간지연 신경망이다. 그러나 음성 인식 시스템을 구현하기 위해서는 이것 이외에도 여러 다른 구조의 신경망이 복합적으로 연결되어 동시에 참여해야 한다.

기존의 연구 결과

1) 과거의 연구 결과

음성은 모음에서 관측할 수 있는 일정한 포만트에 해당하는 정적인 특성과 조음결합 현상, 음소 및 단어 사이의 분리 문제에서 나타나는 동적인 특성도 함께 갖는다. 따라서 음성 인식을 위한 신경망은 위와 같은 특성을 학습할 수 있도록 정적구조 신경망에 음성의 동적인 특성을 추출할 수 있도록 시간지연이나 적분같은 동적구조를 첨가하여 변형한 것이다. 대표적인 신경망은 지연요소와 회귀연결을 갖는 다층 퍼셉트론인 시간지연 신경망과 회귀구조 신경망이 있다. 특히 미국 카네기 멜론 대학의 와벨 교수에 의해 제안된 시간지연 신경망은 영어와 일어의 고립단어 인식에 사용되어 높은 인식률을 나타내었다.

1988 년까지 신경망을 이용한 음성 인식 시스템의 연구 결과를 <표 5>, <표 6>, <표 7>, <표 8> 에 정리하였다. 여기서 <표 5> 는 정적 신경망 (Static Neural Network) 을, <표 6> 은 시간지연 신경망 (TDNN) 을, <표 7> 은 회귀 신경망 (Recurrent Neural Network) 을, <표 8> 는 신경망과 기존의 방식을 결합한 복합 형태의 음성 인식 알고리즘을 나타낸다.

정적 신경망을 이용한 음성 인식 알고리즘은 아직 20 개 단어 인식을 벗어나지 못하고 있음을 알 수 있다. 그리고 음소나 숫자음 그리고 적은 수의 단어를 처리할 수 있는 수준이다.

시간지연 신경망을 이용한 음성 인식 알고리즘은 더 많은 숫자의 음소나 단어를 처리할 수 있다. 음소인식에서는 일본어 인식연구가 상당히 진전되어 있음을 알 수 있다.

회귀 신경망도 음소인식에 탁월한 성능을 발휘하고 있다. 이 음소인식이 실현되면 이로부터 음절 단어를 합성해내어 결국 음성을 문장으로 전환할 수 있게 되는 것이다.

복합 음성 인식 시스템은 기존의 알고리즘은 DTW 나 HMM 과 신경망을 연결한 것이다. 여기서 신경망은 다층 퍼셉트론이나 비텔비 망을 이용했음을 알 수 있다.

기존의 알고리즘이 연속음성 화자독립 30,000 단어를 목표로 발전되고 있고, 현재 상당한 수준에 도달해 있는 사실에 비하면 음소인식에 머물러 있는 신경망을 이용한 음성 인식 시스템은 훨씬 개발이 뒤떨어져 있다고 볼 수 있을 것이다. 그러나 이는 음식 인식 분야에 신경망이 최근에 도입되어 10 내지 20 년이나 앞선 기준의 시스템보다 뒤떨어져 있는 것이 당연한 것이다. 그리고 알고리즘만을 쓸 때보다 신경망을 접속시켰을 경우 훨씬 연속음성인식이나 화자독립인식에 좋은 결과를 주는 것을 볼 때 상당히 고무적인 상황이다.

<표 5> 정적 신경망을 이용한 음성 인식 알고리즘

<표 6> TDNN 을 이용한 음성 인식 알고리즘

<표 7> 회귀 신경망을 이용한 음성 인식 알고리즘

<표 8> 복합 음성 인식 알고리즘

2) 최근의 연구 결과

이제 최근의 신경망을 이용한 기존의 연구 결과를 국외ㆍ국내로 구분하여 조사해 보자 (<표 9> 참조). 신경망도 최근에는 고립단어 인식에까지 이르고 있다. 영어와 일어인식에 상당히 치중해 있고 신경망으로서 시간지연 신경망이 절대적으로 많이 이용되고 있는 것을 알 수 있다.

<표 9> 국내ㆍ외 연구동향                      (a) 국외

                                                                              (b) 국내

먼저 랭과 힌튼은 광범위한 일련의 실험을 통해 여러 가지 형태의 시간지연 신경망에 대한 특성을 조사하였고, 알파벳 중에서 가장 혼동하기 쉬운 4 개의 비슷한 고립단어인 /B/, /D/, /E/ 그리고 /V/ 를 인식하는 실험을 하였다. 이 실험 결과 수작업된 패턴에 대해서는 8.6% 의 에러율을 얻었고, 간단히 에너지를 이용하여 세그멘테이션한 패턴에 대해서는 9.5% 의 에러율을 얻었다. 또한 반대 예제를 포함하여 학습함으로써 7.8% 의 에러율을 얻어 11% 의 에러율을 가지는 HMM 에 비해 좋은 인식률을 나타내었다.

다음에 와이벨 (Waibel) 등은 초기 실험에서 일본어의 유성과 열음 /B, D, G/ 인식에  있어서 1.5% 의 에러율을 얻었고, 이를 확장하여 자음 /B, D, G, P, T, K/ 뿐 아니라 18 개의 모든 자음에 대해 인식하도록 시간지연 신경망을 모듈화하게 구성하여 각각에 대해 1.4%, 4.1% 의 에러율을 나타내었다.

그리고 사와이 (Sawai) 등은 일본어의 18 자음, 5 모음을 인식하기 위하여 여러 가지 형태의 모듈화된 시간지연 신경망 구조를 제안하여 전체 인식률을 크게 저하시킴없이 인식 범위를 확장하였고, 이 시스템을 여러 음소와 자음 + 모음, 즉 받침이 없는 음절들을 알아내는 데 사용하여 95% 의 높은 인식률을 기록하였다.

아울러 하타오카 (Hataoka) 등은 영어의 16 모음이 화장된 시간지연 신경망을 사용하여 화자독립의 경우에 60.5% 의 인식률을 나타내었다.

미야타케 (Miyatake) 등은 계층적인 구조를 갖는 시간지연 신경망과 DTW 패턴 매칭 기술을 이용한 Predictive LR Parsing 방법을 결합하여 대용량 고립단어 인식에 적용하여 음소인식 결과는 98.0% 인식률을 나타내었고, 5,240 개의 고립단어 인식에 있어서는 92.6% ~ 97.6% 의 인식률을 나타내었다.

또한 히라이 (Hirai) 와 와이벨 (Waibel) 은 시간지연 신경망과 고차원망 (Higher - level Network) 그리고 동적 프로그래밍을 이용한 시간왜곡을 사용하여 고립단어 인식에 적용하여 중간용량ㆍ화자종속ㆍ고립단어 인식에서 92% 의 인식률을 나타내었다. 그러나 최근에는 시간지연 신경망을 이용한 응용보다는 시간지연 신경망의 정보처리 능력을 향상시키려는 기초적인 연구를 수행하고 있다. 그 예로 시간지연 신경망에 회귀구조를 갖도록 변형시킨다든지, 시간지연 신경망이 입력 패턴의 경제점에서도 정보를 처리할 수 있도록 하는 연구를 진행하고 있다.

이 조사 결과에서 볼 수 있듯이 신경망을 이용한 음성 인식이 영어와 일본어에 치우쳐 있음을 알 수 있을 것이다. 일본어의 구조가 단순해서 음성 인식 시스템이 가장 먼저 성공을 거두리라는 기대 때문인지도 모른다. 그러나 일본어와 가장 유사한 한국어 음성 인식의 진도가 늦다는 데는 문제가 있다. 그 와중에서도 국내 연구자들이 지금까지는 음성인식의 기본 기술을 축적하여 왔으며 부분적으로 고립단어 인식 분야에서는 실용화에 한 걸음 다가섰다. 현재 대학연구소 등에서 이 분야의 연구를 시도하고 있으나 아직 연구활동이 대단히 부족하며, 많은 연구인력과 노력이 요구되고 있는 시점이라고 할 수 있다.

기존의 알고리즘을 이용한 음성인식기술은 제 2 세대 수준에 도달해 있다. 현재 화자종속 고립단어로 1,200 개 단어를 인식하는 시스템이 개발되어 있으나, 아직 인식률이 낮은 편이며, 연속 음성 인식 연구는 초보적인 단계에 있다.

<표 10> 최근에 개발된 음성 인식 시스템

3) 최근의 경향

최근에 개발된 음성 인식 시스템을 <표 10> 에 나타내었다. 이 표에서 볼 수 있듯이 현재 가장 발전된 음성 인식 시스템은 카네기 멜론 대학의 스핑크스 시스템인데 1,000 개의 단어로 이루어진 연속음성을 화자에 구애됨이 없이 95.8% 정도로 인식한다.

IBM 의 탕고라 시스템도 화자독립 고립단어의 2 만 단어를 인식해 낼 수 있다. 아울러 일본의 음성 인식 시스템도 상당히 발전되어 있음을 알 수 있다. 현재 화자독립 연속음성 1,000 단어 수준이다.

밝은 미래의 음성 인식 시스템

이 장에서는 음성 인식의 제 문제를 고찰해 보고 신경망을 이용한 연구를 조사해 보았다.

신경망의 패턴 분류 특성이 음성 인식에서 요구되는 여러 불변특성들과 일반화 조건들을 만족시킬 수 있으므로 화자독립 연속음성을 인식할 수 있는 시스템을 개발하는 데 보다 밝은 전망을 보여 주고 있는 것이다.

아직 이 분야에서 뒤떨어져 있는 국내의 연구활동도 신경망분야에 보다 많은 관심을 기울여 하루 빨리 한국어 음성인식 연구를 진전시켜야 될 것이다.

장기적으로는 이 분야에 많은 연구인력이 대학원에서 배출되어야 한다. 그러나 무엇보다도 시급한 것은 음성 데이터 베이스를 구축하는 일일 것이다. 표준화된 음성 데이터가 있어야 실험도 하고, 테스트도 하고, 비교도 할 수 있는 것이다. 그런데 이 음성 데이터 베이스를 구축하는 작업은 1 ~ 2 년에 완성되는 것이 아니고 많은 인력이 투입되어 장기적으로 진행되어야 하는 것이다.