1982 년 Cal Tech 의 저명한 물리학자였던 John J.Hopfield 는 물리학적 스핀 모델로부터 Hopfield network 를 착안하였으며 에너지 개념을 신경망에 처음으로 도입하였다. .....Hopfield network 는 뉴런의 작용을 단지 임계값의 작용으로 보고 훈련에 의한 정보가 연결강도에 의해 표현된다는 간단한 이론에 기초하고 있으며, 연상기억 (Associative Memory) 이나 순회판매원 문제 (Travelling Salesman Problem) 와 같은 최적화 (Optimization) 문제를 해결하는데 있어 매우 유용하다. 또한 Hopfield network 는 많은 수의 비동기적이고 국소적인 계산을 통하여 전역적 최적화 (global optimization) 를 이룰 수 있다는 것이 증명되었기 때문에 더욱 많은 관심을 끌었다. .......
Hopfield network 는 자신을 제외한 모든 유니트들간의 양방향으로 상호연결된 network 인데, 초기 버전에서 입출력은 이진수, 전달함수는 계단함수 (hard limiter) 를 사용하였으나 그 후 1986년에는 입출력이 아날로그인 버전이 발표되었다. 그림은 Hopfield network 의 기본 구조를 나타내는데 x0, x1, x2 ... xN-1 은 입력된 패턴이고 x0', x1', x2' ... xN-1' 은 network 가 수렴한 상태의 출력패턴이다. 그림에서 보는 바와 같이 각 유니트는 자신을 제외한 다른 모든 유니트들과 완전연결되어 있다.
홉필드 네트워크
우리 인간은 과거의 시간과 새로운 사건을 서로 연관시키고 기억된 사건들을 통합함으로써 새로운 개념을 창조해내는 능력을 가지고 있다. 예를 들면, 심한 노이즈 (noise) 를 가진 불완전한 패턴이나 왜곡된 (distorted) 패턴이 제시되었을 때, 우리는 주어진 패턴이 무엇인지를 판단하여 본래의 완전한 형태를 유추해낼 수 있다. 이러한 연상기억 능력은 경험과 학습을 통하여 점차적으로 개선되는 것이다. ......... Hopfield network 는 연상기억장치를 재현할 수 있다. ............... (김대수 1992)
term :
신경망 (Neural Network) 자율학습 (Unsupervised Learning) 홉필드 네트워크 (Hopfield Network) 연상메모리 (Associative Memory) John J.Hopfield
paper :
site :
Hopfield model : Neural Networks at your Fingertips associative memory and Hopfield nets