Adaline
이 모델은 Stanford 의 Bernard Widrow 가 개발한 모델이다. Adaline 은 신경세포의 초기 모델로서 적응형 선형결합기와 양자의 회로를 직렬로 접속한 것이다 ....... Adaline 을 신경세포와 비교하면 적응형 연결강도는 시냅스, 입력벡터의 성분은 축색돌기 (axon) 의 입력, 양자화된 출력은 축색의 출력에 각각 대응한다. Adaline 의 출력은 실제의 신경세포에서 일어나는 것과 매우 유사하다. 적응형 선형결합기의 출력은 각각의 입력에 연결강도를 곱하여 합한 (s = Σxiwi ) 입력신호의 선형결합이다. 입력신호와 연결강도는 벡터이며, 출력신호는 입력신호 벡터와 연결강도 벡터의 내적이다. 적응형 선형결합기의 출력은 0 이나 1 의 둘 중 하나로 결정된다 .............. Adaline 의 학습은 입력-출력을 쌍으로 순차적으로 제시하여 원하는 출력값이 나오도록 연결강도 (wi) 를 바꾸어가는 것이다. 일반적으로 Adaline의 학습은 1959년에 Widrow 와 Hoff 가 제안한 Least Mean Square (LMS) Algorithm을 사용한다. ........ E (에러) 를 0 으로 하는, 즉 출력과 목표치를 같다고 하고 역으로 weight 를 변화시킨다.
Adaline 은 하나의 뉴런에 상응하여 선형 분리 가능한 논리함수만이 실현 가능하다. 따라서 일반적으로 대부분의 논리함수는 실현이 불가능하다. 그러나 Adaline 의 조합이나 다량의 Adaline 을 이용하여 네트워크를 구성함으로써 비선형분리 함수를 구현할 수 있다. 이러한 생각을 바탕으로 만들어진 것이 Madaline 이다..... 그 후, 1980년대에 전방향 (feedforward) 3층 네트워크가 제안되었다. 학습은 일반적으로 다층일 경우 Rumelhart 등이 제안한 Backpropagation 알고리즘을 사용하지만 Madaline 의 경우는 각 유니트 양자화가 계단함수 (hard limiter) 를 사용하므로 미분이 불가능하여 사용할 수 없다. ..... 선형분리 문제를 해결하기 위한 다층 퍼셉트론 (Multilayer Perceptron) 이 나오기 전에는 Madaline 모델이 최고의 신경망 모델이었다. ........ (김대수 1992)
term :
신경망 (Neural Network) 지도학습 (Supervised Learning) 아달라인 (Adaline) 최소자승 (Least Square) Bernard Widrow
paper :
Adaline (Adaptive Linear Neuron) : 김대수
site :
Adaline Network : Neural Networks at your FingertipsThe Adaline Network simulator source : Adaline은 기본적으로 single-layer backpropagation network 이다. 이 source 에서는 숫자 0 ~ 9 의 bitmap 표현을 구분하기위한 패턴인식 작업을 위해 train 된다. Adaline 의 제한된 능력 때문에 단지 정확한 training pattern 들만을 인식한다. 만일 그 응용이 multi-layer backpropagation network 으로 이식된다면 현저하게 향상된 fault tolerance 가 얻어질 수 있다.