origin : Warren S. Sarle, 1997
우리가 신경망을 언급할 때 정확히 표현하려면 "artificial neural network" (ANN) 이라고 해야한다. 왜냐하면 우리는 그것을 컴퓨터를 활용한 가상 신경망을 의미하는 것이기 때문이다. 생물에서의 신경망은 우리가 사용하는 수학적 모델에 비해 훨씬 더 복잡하다.
신경망의 보편적으로 인정되는 정의는 없지만 대부분의 사람은 신경망을 " 여러개의 간단한 처리장치들을 연결한 것" (a network of many simple processors ("units")) 이라하며 각각은 소량의 local memory를 가지고 있다. 각각의 unit은 다양한 방법으로 encode 된 numeric data (symbolic data 와 반대되는 개념)를 전달하는 communication channels ("connections") 으로 연결되어있다. 각각의 unit은 자신의 local data와 connection을 통해 받은 입력에 대해서만 작동한다. 그러한 작동(local operation)에 대한 제약은 training을 통해서 흔히 완화된다.
어떤 신경망은 생물의 신경망을 흉내낸 것이고 어떤 것은 그렇지 않다. 그러나 역사적으로 인간이 일반적으로 (routine) 수행하는 것과 유사한 "intelligent" computations 을 인공시스템이 수행할수 있도록 하려는 욕망에서 신경망의 각 분야들이 발전하여 왔다. 그럼으로써 인간의 뇌에 대한 이해도 더 진전하게 되었다.
대부분의 신경망은 일종의 "training" rule 을 가지고 있어서 각 connections 의 가중치를 training data 에 기초해서 조정하도록 하고 있다. 즉 신경망은 어린이가 사물을 인식하는 과정처럼 examples 로부터 "learn" 하고 마침내는 training data 를 뛰어넘어 일반화할 수 있는 능력을 보이게 된다.
신경망은 각 요소들 사이의 계산이 서로 독립적일 때가 많아 병렬적일 가능성이 높다. 그래서 몇몇 사람들은 massive parallelism and high connectivity 를 신경망의 특징으로 정의하지만 그것은 오히려 신경망의 특수한 경우로 간주된다. 왜냐하면 simple linear regression (a minimal feedforward net with only two units plus bias) 과 같은 다양한 심플한 모델들이 있기때문이다.
여기 많은 책속에 있는 신경망에 대한 정의를 샘플링하였다. 어떤 것도 신경망을 명확하게 정의한 교과서는 없을것이다.
DARPA Neural Network Study (1988, AFCEA International Press, p. 60):
... 신경망은 병렬로 수행되는 많은 간단한 요소로 구성되는 시스템으로서 그 기능은 네트워크구조, 연결강도, 계산요소(또는 node)에서 수행되는 처리에 의해 결정된다.
Simon Haykin (1994), Neural Networks: A Comprehensive Foundation, NY: Macmillan, p. 2:
신경망은 경험적 지식을 축적하고 그것을 유용하게 만드는 자연적인 성향(natural propensity) 를 가지는 거대한 병렬 분산 처리기 이다. 신경망은 두가지 면에서 뇌와 닮았다.:
1. 지식은 학습과정을 통해서 네트워크에 의해 얻어진다.
2. synaptic weight 라고 알려진 뉴런사이의 연결강도는 지식을 축적하기위해 사용된다.
Albert Nigrin (1993), Neural Networks for Pattern Recognition, Cambridge, MA: The MIT Press, p. 11:
신경망은 신경에 기초한 매우 많은수의 간단한 처리요소로 구성된 회로이다. 각 요소는 국부적 정보에서만 작동한다. 더구나 각 요소는 비동시적으로 (asynchronously) 작동한다. 따라서 전체 시스템 주기 (overall system clock) 가 없다.
Jacek M. Zurada (1992), Introduction to Artificial Neural Systems , Boston: PWS Publishing Company, p. xv:
인공신경계 또는 신경망은 경험적 지식을 획득하고, 저정하고, 이용할 수 있는 물리적인 세포 시스템 (physical cellular system) 이다.