NEURAL NETWORK ARCHITECTURES & PARADIGMS

신경망 모델 (Neural Network Models)

생체 신경세포의 공학적 모델링부터 지도학습·자율학습의 2대 학습 패러다임, 시대별 대표 신경망 모델들의 구조와 동작 메커니즘 총정리

1. 시대별 신경망 모델 발전사 2. 지도학습(Supervised) 모델군 3. 자율학습(Unsupervised) 모델군 4. 상호작용적 활성화·경쟁 모형 5. 뉴런 기능 모델 및 수식 6. 관련 핵심 용어

1. 생물 신경망 모방 이후 등장한 주요 신경망 모델들의 시대별 발전사

인공신경망(Artificial Neural Network)은 인간 두뇌의 기본 소자인 뉴런(Neuron)과 시냅스(Synapse)의 정보 처리 과정을 수학적·물리적 연산으로 추상화한 계산 모델입니다. 1943년 인류 최초의 인공 뉴런 모델이 탄생한 이래, 신경망 모델은 학습 패러다임과 연결 구조에 따라 다음과 같이 시대별로 눈부신 진화를 거듭해 왔습니다:

시대 구분 주요 신경망 모델 제안자 및 연도 핵심 특징 및 이론적 기여
1940년대
(신경망의 여명)		 맥컬럭-피츠 모델 (MCP)
헵의 학습 규칙		 McCulloch & Pitts (1943)
Donald Hebb (1949)		 최초의 인공 뉴런 수학적 모델링(이진 문턱값 논리).
시냅스 가소성 가설("동시 활성화된 뉴런 간 연결 강화").
1950~1960년대
(초기 선형 모델)		 퍼셉트론 (Perceptron)
아달라인 (Adaline)		 Frank Rosenblatt (1958)
Widrow & Hoff (1960)		 가중치를 스스로 학습하는 최초의 자율 학습 장치.
최소평균제곱(LMS) 오차 및 델타 규칙(Delta Rule) 도입.
1970년대
(암흑기 속 생체 모방)		 코그니트론 (Cognitron)
적응공명이론 (ART)		 Kunihiko Fukushima (1975)
Stephen Grossberg (1976)		 생체 시각 수용장을 모방한 다층 비지도 신경망.
안정성과 가소성의 딜레마(Stability-Plasticity) 해결.
1980년대
(연결주의 르네상스)		 홉필드 네트워크
볼쯔만 머신
다층 퍼셉트론 (MLP)
오차역전파 (Backprop)
자기조직화 맵 (SOM)
양방향 연상메모리 (BAM)
반대방향 전파 (CPN)		 John Hopfield (1982)
Hinton & Sejnowski (1985)
Rumelhart, Hinton, Williams (1986)
Teuvo Kohonen (1982)
Bart Kosko (1988)
Robert Hecht-Nielsen (1987)		 스핀 글래스 에너지 함수를 통한 연상기억 안정성 보장.
확률적 담금질로 국소 최솟값 장벽 탈출.
오차역전파 학습으로 XOR 한계를 극복하고 심층화 토대 구축.
고차원 데이터를 2차원 격자로 축소하는 비지도 위상 맵.
양방향 안정적 연상기억.
SOM과 외스터필드 층을 결합한 초고속 하이브리드 학습망.
1990~2000년대
(심층 구조의 태동)		 합성곱 신경망 (CNN / LeNet)
장단기 메모리 (LSTM)
심층 신뢰망 (DBN)		 Yann LeCun (1989/1998)
Hochreiter & Schmidhuber (1997)
Geoffrey Hinton (2006)		 공간적 가중치 공유 및 풀링을 통한 영상 특징 추출.
게이트 구조로 순환망의 장기 의존성 기울기 소실 해결.
비지도 사전학습(Pretraining)으로 '딥러닝' 시대 개막.
2010년대~현재
(딥러닝·초거대 AI)		 AlexNet / ResNet
GAN / Diffusion
트랜스포머 (Transformer)
거대 언어 모델 (LLM)		 Krizhevsky (2012) / He (2015)
Goodfellow (2014) / Ho (2020)
Vaswani et al. (2017)
OpenAI (GPT), Google (Gemini)		 GPU 병렬 연산 및 초심층 잔차 신경망.
생성자와 판별자 대립 및 노이즈 역확산 생성.
셀프 어텐션 기반 대규모 병렬 사전학습 파운데이션 모델.
제3세대 신경망
(생체모사 뉴로모픽)		 스파이킹 신경망 (SNN) Wolfgang Maass (1997)
Eugene Izhikevich (2003)		 시간 축의 이산 스파이크(활동전위) 부호화와 비동기 희소 연산으로 극단적인 초저전력 및 초저지연을 실현하는 차세대 뇌모사 신경망.

2. 지도학습 (Supervised Learning) 모델군 상세 분석

지도학습(Supervised Learning)은 각 입력 패턴에 대해 원하는 정답(목표값, Target Label 또는 교사 신호)이 함께 주어지는 학습 방식입니다. 신경망은 자신이 산출한 출력값과 실제 목표값 사이의 오차(Error)를 측정하고, 이 오차를 최소화하는 방향으로 연결 가중치(Weights)를 점진적으로 수정해 나갑니다.

📌 다층 퍼셉트론 (Multilayer Perceptron : MLP)
입력층과 출력층 사이에 하나 이상의 은닉층(Hidden Layer)을 두어 비선형 분리 능력을 획득한 대표적 전방향(Feedforward) 신경망입니다.
📌 역전파 (Back-propagation Algorithm)
출력층에서 발생한 오차를 출력층에서 은닉층, 입력층 방향으로 거꾸로 전파시키며 연쇄 법칙(Chain Rule)으로 각 시냅스의 오차 기울기를 계산하여 갱신하는 지도학습의 핵심 알고리즘입니다.
📌 퍼셉트론 (Perceptron)
1958년 로젠블랫이 제안한 최초의 학습 가능한 단층 신경망으로, 선형 분리 가능한 패턴을 완벽히 분류하는 퍼셉트론 수렴 정리(Convergence Theorem)를 입증했습니다.
📌 아달라인 (Adaline / Adaptive Linear Neuron)
출력의 임계치 판정 이전에 선형 결합값 자체를 바탕으로 최소평균제곱(LMS) 오차를 계산하는 델타 규칙을 도입하여 신호 처리 분야에 널리 응용되었습니다.
📌 맥컬럭-피츠 모델 (McCulloch-Pitts Model)
1943년 인류 최초의 인공 뉴런 모델로, 이진 흥분성 및 절대적 억제성 입력을 조합하여 AND, OR, NOT 등 모든 불리언 논리 연산을 계산할 수 있음을 증명했습니다.
📌 헵의 학습규칙 (Hebbian Learning Rule)
시냅스 전후의 두 뉴런이 동시에 활성화될 때 연결 강도가 비례하여 강화된다는 신경심리학적 법칙으로, 연상기억 및 상관 학습의 기초가 됩니다.
📌 볼쯔만 머신 (Boltzmann Machine)
통계역학의 볼츠만 분포를 도입하여 확률적으로 뉴런 상태를 갱신하며, 가시 뉴런과 은닉 뉴런 간의 상호작용으로 복잡한 확률 분포를 지도/비지도 학습합니다.
📌 시뮬레이티드 어닐링 (Simulated Annealing)
금속을 서서히 냉각시키는 담금질 원리를 최적화에 적용하여, 초기에 높은 온도에서 확률적으로 에너지가 증가하는 상태 전이를 허용함으로써 국소 극소점(Local Minima)을 탈출하는 전역 최적화 기법입니다.

3. 자율학습 (Unsupervised Learning) 모델군 상세 분석

자율학습(Unsupervised Learning, 또는 비지도학습/자기조직화)은 목표값이나 교사 신호(Label) 없이, 오직 입력 데이터 자체만을 제시받아 데이터 내부의 통계적 규칙성, 유사도, 군집(Cluster) 구조를 스스로 발견하여 가중치를 재구성하는 학습 패러다임입니다.

📌 자기조직화 맵 (Self-Organizing Map : SOM)
코호넨 교수가 제안한 대표 모델로, 고차원의 복잡한 입력 데이터를 위상학적(Topological) 근접성을 보존하면서 저차원(주로 2차원) 격자 평면 위에 시각화 및 군집화합니다.
📌 홉필드 네트워크 (Hopfield Network)
대칭 연결 가중치를 가진 상호 순환 신경망으로, 리아푸노프 에너지 함수를 정의하여 저장된 기준 패턴들이 에너지의 안정한 극소점(Attractor)이 되는 내용 주소화 연상기억(CAM)을 수행합니다.
📌 양방향 연상메모리 (Bidirectional Associative Memory : BAM)
두 층 사이의 신호가 전방향 및 역방향으로 번갈아 전달되며 전진-후진 순환을 통해 한 쌍의 서로 다른 패턴 쌍($X \leftrightarrow Y$)을 상호 인출하는 이종 연상기억 모델입니다.
📌 적응공명이론 (Adaptive Resonance Theory : ART)
그로스버그 교수가 제안한 모델로, 기존 기억을 보존하면서도 새로운 패턴을 끊임없이 수용할 수 있도록 상향식(Bottom-up) 입력과 하향식(Top-down) 기대를 '공명(Resonance)'시켜 안정성-가소성 딜레마를 해결합니다.
📌 코그니트론 (Cognitron) & 네오코그니트론
후쿠시마 쿠니히코가 인간의 시각 피질 수용장(단순 세포와 복합 세포)을 모방하여 위치 이동이나 크기 변형에도 강건하게 문자를 인식하도록 설계한 다층 자율학습 신경망입니다.
📌 반대방향 전파 네트워크 (Counterpropagation Network : CPN)
비지도 자율학습인 코호넨 층(군집화)과 지도학습인 그로스버그 층(외스터필드 연관)을 직렬 결합하여, 역전파 신경망보다 수백 배 빠른 속도로 함수 근사 및 양방향 매핑을 수행하는 하이브리드 신경망입니다.

4. 상호작용적 활성화 및 경쟁 모형 (Interactive Activation and Competition Model)

..... 다음 그림에 나와있는 회로망은 James McClelland (1981) 의 연구에 근거한 상호작용적 활성화 및 경쟁모형 (interactive activation and competition model) 입니다. 회로망은 다섯 사람에 대한 정보와 관련되어 있으며, 각 사람은 그림 중앙에 있는 다섯 개의 마디로 표상되어 있습니다. 이 마디들 속에는 아무 것도 들어 있지 않습니다. 이 마디들이 표상하고 있는 정보는 다른 마디들과의 연계 속에 들어 있습니다.

경쟁적-상호작용 회로망 (James McClelland & Colin Martindale)
[그림 설명] 사람들에 대한 지식을 저장하는 경쟁적-상호작용 회로망.
각 원 속의 마디들은 상호간에 억제합니다. 선분들은 양방향적 흥분을 나타냅니다. 한 마디의 활성화는 동일원 속에 있는 다른 마디들을 억제시키며, 직접적이든 간접적이든 그 마디와 연계되어 있는 마디들을 활성화시킵니다.

다섯 사람의 속성들은 중앙원을 둘러싸고 있는 타원들 속의 마디로 표상됩니다. 회로망이 작동하는 방식은 다음과 같습니다 : 선들은 정방향의 흥분적 연계를 나타냅니다. 우리는 동일원 속에 들어 있는 마디들 사이에는 상호간에 외측억제 (lateral inhibition) 가 작용한다고 가정합니다. 한 마디가 활성화되면 자신이 속한 원 속의 다른 마디들을 억제하며, 자신과 연계되어 있는 다른 원 속의 마디들에 흥분을 전달합니다. 흥분을 전달받은 마디들도 동일한 일을 수행합니다. 흥분과 억제가 마디들 사이에 반향적으로 전달된 후에 어떤 마디들은 활성화가 극대화되고 다른 마디들은 억제됩니다.

원 사이의 선분들을 추적해보면 회로망이 정보를 저장하고 있음을 알게 될 것입니다 ; 예컨대, 회로망은 Joe 가 백인 남자교수이며 수바루 자동차를 몰고 다니며 브리 치즈를 좋아한다는 것을 알고 있습니다. Fred 도 Joe 와 유사한 특징을 가지고 있습니다. Harold 와 Frank 는 흑인 주식중매인입니다. 이들은 모두 날렵한 차를 몰고 다닙니다. Frank 는 휘즈 치즈를 좋아하지만 Harold 는 브리 치즈를 선호합니다.

회로망은 사람들이 실제로 사고하는 방식을 닮은 몇 가지 탁월한 특성을 가지고 있습니다:

1. 내용이 스스로 주소를 가질 수 있는 (content addressable) 기억 : 회로망에 Claudia 에 대해 묻는 것은 그녀의 이름을 부호화하고 있는 마디를 활성화시키는 것이 됩니다. 곧이어서 그녀의 특성을 부호화하고 있는 마디들이 자동적으로 활성화됩니다. 단지 물음을 던지기만 하면 자동적으로 정보가 인출됩니다.

2. 생략시 배정기능 (default assignment) : 탈락된 정보에 대해서는 자동적으로 "추측"을 합니다. 브리 치즈를 부호화하는 마디는 Claudia 에 대한 질문을 회로망에 던지고 나면 부분적이나마 활성화되기 쉽습니다. Claudia 가 교수이기 때문에 브리 치즈 마디가 교수를 부호화하는 마디로부터 활성화를 전파받기 때문입니다 (David Rumelhart, Geoffrey Hinton, James McClelland, 1986).

3. 자발적 일반화 (spontaneous generalization) 와 편견 (bias) : 회로망은 새로운 개체를 접했을 때 기존의 공통 속성들을 자동으로 결합하여 일반화합니다. 만약 편파적인 사례표집에 노출되면 편견을 가질 수 있으나, 더 많은 다양한 사람들의 정보에 노출시킴으로써 이 문제점을 자연스럽게 해결할 수 있습니다 ............. (Colin Martindale 1991)

5. 인공 뉴런의 기본 기능 모델 및 수학적 정식화

신경망의 기본 소자는 뉴런입니다. 뉴런은 입력된 외부 자극을 합하여 그 결과에 따라 반응하는 단순한 기능만을 할 뿐이므로 뉴런의 기능을 다음 그림과 같이 모델링할 수 있습니다.

뉴런 기능모델
[그림] 뉴런의 기본 기능 모델 (가중합 NET 연산 및 활성화 함수 f)

NET 와 OUT 은 각각 입력된 외부 자극의 가중합과 뉴런의 출력을 의미하며, 다음과 같이 표현할 수 있습니다:

NET = Σ 입력 (가중합)

OUT = f(NET)

f(x) 는 뉴런의 반응 여부를 결정하는 역할을 하며, 활성화 함수 (Activation Function) 라고 합니다......

일반적인 신경망 모델 구조도
[그림] 일반적인 다입력 인공신경망 모델 구조도

일반적인 신경망 모델은 위의 그림과 같으며, 수식적으로 전개하면 다음과 같습니다. 입력 x 와 연결강도 w 는 다음과 같이 벡터 형태로 표시할 수 있습니다. 신경망에 있어서는 입출력이 벡터 (vector) 형태이고, 연결강도가 벡터 또는 행렬 (matrix) 형태이므로 벡터 및 행렬의 연산이 필수적으로 요구됩니다. ................. (오창석 1996)

6. 관련 핵심 용어 및 참고 문헌 (Related Terms & Papers)

🏷️ 관련 주제 링크

🔗 신경망 (Neural Network) 🔗 지도학습 (Supervised Learning) 🔗 자율학습 (Unsupervised Learning) 🔗 일반화 (Generalization) 🔗 귀납법 (Induction) 🔗 학습 (Learning) 🔗 활성화 함수 (Activation Function) ⚡ 스파이킹 신경망 (SNN) 🔗 신경망 용어사전

📄 주요 문헌 및 인용 링크 (Preserved References)