1. 심리학과 인공지능(AI)에서의 연결주의 개념 비교
연결주의는 인지심리학(Cognitive Psychology)과 컴퓨터과학(AI)의 접점에서 탄생한 패러다임으로, "인간의 마음과 지능은 수많은 단순한 신경 단위들의 병렬 분산 연결망에서 발현된다"는 공통 원리를 바탕으로 하지만 두 분야의 연구 목적과 접근법에는 명확한 차이가 존재합니다.
| 비교 기준 |
심리학에서의 연결주의 (Cognitive Psychology) |
인공지능에서의 연결주의 (AI & Deep Learning) |
궁극적 목적
(Goal) |
인간 마음의 인지적 메커니즘 해명 (설명력 중심)
인간이 어떻게 언어를 습득하고, 개념을 범주화하며, 기억을 인출하는지 생물학적/인지적 현상을 설명 |
컴퓨터의 작업 수행 성능 극대화 (기능성/성능 중심)
이미지 분류, 음성 인식, 기계 번역 등 특정 문제를 기계가 얼마나 정확하고 빠르게 풀어내는지에 초점 |
기본 단위
(Units / Nodes) |
생물학적 뉴런 및 신경망 군집 모사
실제 뇌 신경세포의 스파이킹(Spiking), 불응기, 신경전달물질의 동적 상호작용 반영 |
수학적 인공 뉴런 (Perceptron / Node)
y = f(Σ wi xi + b) 로 계산되는 부동소수점 행렬 연산 단위 |
연결 및 기억
(Connections) |
시냅스 연결 강도와 신경 가소성 (Plasticity)
장기 강화(LTP)에 기반한 연상 기억(Associative Memory) 및 지식의 분산 저장 |
수치형 가중치 행렬 (Weight Matrix)
메모리에 저장된 수치형 파라미터 (수억~수조 개의 가중치와 편향) |
학습 메커니즘
(Learning) |
헵 학습 (Hebbian Learning) & 시행착오
"함께 발화하는 뉴런은 함께 연결된다"는 원리와 환경적 자극-반응 상호작용 |
오차역전파 (Backpropagation) & 경사하강법
손실 함수(Loss)의 기울기(Gradient)를 역방향으로 연쇄 법칙 미분하여 가중치를 갱신하는 수리적 최적화 |
오류 및 실패의 의미
(Error & Degradation) |
인간 고유의 인지적 오류 재현이 성공의 기준
아이들의 불규칙 동사 과잉 일반화(U자형 곡선)나 뇌 손상 시 서서히 능력이 퇴화하는 점진적 성능 저하(Graceful Degradation)를 완벽히 모방하는 모델을 훌륭한 모델로 평가 |
오차율을 0에 가깝게 줄이는 것이 성공의 기준
오차는 최소화해야 할 대상이며, 학습 데이터 분포 밖의 적대적 공격(Adversarial Attack)이나 분포 외 데이터(OOD)에서는 예측 불가능한 치명적 실패 발생 가능 |
해석 가능성
(Explainability) |
fMRI, EEG 등 인지 신경과학 데이터와의 정합성 검증
뇌 스캔 데이터와 비교하여 인지 가설을 검증할 수 있는 화이트박스 지향 |
'블랙박스 (Black Box)' 문제 수반
복잡한 심층 신경망 내부의 수많은 가중치 결합으로 인해 왜 특정 예측을 했는지 인간이 직관적으로 해석하기 어려움 |
🔍 상세 심층 비교 분석
1. 연구 목적과 모델 평가 기준 (Intent and Evaluation)
• 심리학적 연결주의는 '설명력(Explanatory Power)'을 목표로 합니다. 특정 모델이 어린이가 과거형 동사를 학습할 때 보이는 U자형 발달 곡선(I goed ➔ I went)과 같은 인간 고유의 행동적 오류나 한계를 정밀하게 모사할수록 성공적인 모델로 평가받습니다. 즉, "인간이 어떻게 생각하는가"를 이해하는 것이 핵심입니다.
• AI 연결주의는 '예측 및 기능적 성능(Predictive and Functional Power)'을 목표로 합니다. 모델이 인간의 인지적 오류를 굳이 흉내 내지 않더라도, 이미지를 더 정확히 분류하고 언어를 유창하게 번역하며 게임에서 인간을 능가할수록 성공적인 모델입니다. 즉, "기계를 지능적으로 만드는 것"이 핵심입니다.
2. 투명성과 해석 가능성 (Transparency and Explainability)
• 심리학에서는 물리적으로 직접 측정하기 어려운 뇌 내부의 정신 상태에 대한 가설을 세우고, 이를 fMRI, EEG 등 뇌영상 데이터와 1:1로 매핑하여 신경학적 실체와 부합하는지를 밝히는 화이트박스 접근을 추구합니다.
• AI에서는 딥러닝과 같은 심층 연결주의 모델이 수억~수천억 개의 가중치 매개변수로 구성되어 있어, 특정 예측이나 결정이 "왜" 내려졌는지 인간이 그 메커니즘을 명확히 추적하기 어려운 고유의 '블랙박스(Black Box)' 문제를 겪습니다.
3. 융합과 미래 전망 : 신경-기호 AI (Neuro-Symbolic AI)
심리학의 연결주의는 생물학적 뇌의 안쪽을 들여다보고, AI의 연결주의는 대규모로 확장 가능한 디지털 시스템을 구축하며 바깥을 바라보지만, 두 분야는 끊임없이 상호 영향을 주고받고 있습니다. 최근 인공지능 연구는 딥러닝의 패턴 인식 능력(연결주의)과 구조화된 지식 및 논리적 추론(기호주의)을 결합하는 '신경-기호 AI(Neuro-Symbolic AI)'로 수렴하고 있습니다.
💡 핵심 요약 (Summary)
• 심리학의 연결주의는 "인간의 마음이 어떻게 작동하는가?"를 밝혀내기 위해 두뇌의 신경생물학적 작동 방식을 심리학적 가설 검증 도구로 활용합니다.
• AI의 연결주의는 "어떻게 하면 기계를 지능적으로 만들 수 있는가?"를 해결하기 위해 연결주의의 병렬 분산 처리 원리를 수리적으로 추상화하여 현대의 머신러닝·딥러닝(Deep Learning) 기술로 꽃피운 공학적 실행 체계입니다.
2. 연결주의의 개념과 2대 기본 원리
연결주의 (Connectionsim) 은 일반적으로 신경망 (Neural Network) 으로 작동하는 정신 또는 행동 현상을 모델링하는 인지심리학 (Cognitive Psychology), 인지과학 (Cognitive Science), 심리철학 (Philosophy of Mind) 분야에서 하나의 접근방식으로 언급되며, 그것이 왜 좋은 아이디어 인지에 대한 일련의 주장과도 연관된 것이다.
모든 현대의 연결주의는 마음 (Mind) 을 다루는 두가지 주요한 원리에 집착한다:
-
1. 어떠한 정신상태도 신경망에서의 신경세포 단위 (neural units) 에 대해 n-차원의 수치 활성값 (n-dimensional vector of numeric activation values) 으로 묘사될 수 있다.
-
2. 기억 (memory) 이라는 것은 neural units 간의 연결의 강도 또는 구조 (strength or architecture of the connections) 를 수정하여 이루어진다 (여기서 connectionism 이란 명칭이 만들어졌다). 연결강도 또는 "가중치 (weights)" 는 일반적으로 N × N 차원 행렬로서 표현된다.
(참고 : 신경세포 (Neuron) 시냅스 (Synapse) 활성화 함수 (Activation Function))
3. 연결주의 모델의 학습 원리와 역전파(Backpropagation)
연결주의자 (Connectionist) 는 대개 그들의 모델에서 학습 (Learning) 의 중요성을 강조한다. 결과적으로, 신경망을 위한 많은 섬세한 학습과정이 연결주의자들에 의해 개발되어왔다. 학습은 항상 연결 가중치 (connection weights) 를 수정하는 것을 포함한다.
이것은 대개 neural unit 의 요소들을 활성화시키는 데이타가 주어질 때 (when given sets of data consisting of activation vectors for some subset of the neural units), 가중치의 변화를 결정하기 위한 수학 공식을 포함한다:
✦ 신경망에서의 학습은 연결강도의 가중치 업데이트 (weight update) 와 같다 ✦
그러한 방법으로 학습을 형식화함으로써 연결주의자들은 많은 툴을 늘 가까이 가지고 있다. 연결주의 학습 방법에서 매우 흔한 전술은, 가중치 행렬로 정의된 공간에서 error surface 에 대해 기울기 하강 (Gradient Descent) 를 통합하는 것이다.
연결주의 모델에서 모든 gradient descent 학습은 가중치에 관해서는 partial derivative of the error surface 에 의한 각각의 가중치 변화를 포함한다. 1980 년대에 만들어져 대중화된 역전파 (Back-propagation) 은 오늘날 가장 널리 알려진 connectionist gradient descent algorithm 일 것이다.
4. 병렬분산처리(PDP)와 연결주의의 역사적 전개
연결주의 모델에서 오늘날 유행하는 형태는 병렬분산처리 (Parallel Distributed Processing, PDP) 이라고 알려져 있다. PDP 는 1980 년대에 James L. McClelland, David Rumelhart 와 그들의 PDP Research Group 에서 저술한 "Parallel Distributed Processing: Explorations in the Microstructure of Cognition - Volume 1 (foundations) & Volume 2 (Psychological and Biological Models)" 출간과 함께 유명하게 되었다.
PDP 의 뿌리는 1950 년대의 퍼셉트론 (Perceptron) 이론이다. 1952 년에 일찍이 Friedrich Hayek 는 두뇌에서의 idea of spontaneous order 는 decentralized networks of simple units (neurons) 에서 발생한다고 주장하였음에도 불구하고, Hayek 의 업적은 연결주의 문헌에서는 언급되지는 않았다.
연결주의 모델의 또다른 형태는 1960 년대에 언어학자 Sydney Lamb 이 개발한 Relational Network 이지만, 그것은 단지 언어학자들에 의해서만 사용되어 왔다.
더 일찍이 다소 다른 연결주의 관점이 Edward Lee Thorndike 에 의해 만들어 졌다. 그는 학습을 연구한 세기적인 심리학자로서, 고양이가 puzzle box 에서 어떻게 탈출하는지에 연구와, 효과의 법칙(Law of Effect)의 공식화로 유명해졌다. 그의 해석은 자극과 반응 (stimuli and responses, S-R) 간의 연관에 관하여 강조했다. 비록 S-R aspect 가 오늘날에는 급진적인 행동주의자와 인지심리학자 (연결주의자를 포함하여) 들이 포기한 이론이지만, 연결주의 모델에서의 연관 강도 (association strength) 의 수정에 대한 언급을 하기는 쉬웠다.
연결주의자들은 recurrent networks (네트워크의 연결이 directed cycle 을 형성할 수 있는 네트워크) 가 feedforward networks (어떠한 directed cycle 도 없는 네트워크) 보다도 인간의 두뇌 (brain) 와 더 닮았다는데 대개 동의한다.
게다가 많은 recurrent connectionist model 들이 dynamical systems theory 를 통합하였다. Paul Smolensky (PDP 저자중의 일인) 같은 연결주의자를 비롯한 많은 연구원들은, 연결주의 모델이 취할 방향은 fully continuous, high-dimensional, non-linear dynamic systems 접근방식을 향하고 있다고 주장해 왔다.
5. 인지주의(기호주의) vs 연결주의(신경망) 패러다임 비교
연결주의는 고전적 인지주의 (cognitivism / 기호주의 Symbolic AI) 와 반대되는 패러다임으로 발전해 왔습니다:
✦ 고전적 인지주의 (기호주의 / Cognitivism)
• 두뇌의 물리적 신경구조와는 무관한 기호 모델 (symbolic model) 입장을 취함
• 명확한 기호(정신 모델)와 내부 조작을 위한 통사적 문법 규칙 (syntactical rules) 에 초점
• 마음을 디지털 컴퓨터의 소프트웨어와 기호 조작 체계로 환원 가능하다고 믿음
✦ 연결주의 (신경망 모델 / Connectionism)
• 실제 뇌의 신경구조를 모방한 "낮은 단계 (low level)" 병렬 분산 모델링에 몰두
• 환경의 자극으로부터의 학습과 뉴런 간 시냅스 연결 가중치(weights) 저장에 초점
• 명확한 기호 조작만으로는 인간의 유연한 정신활동을 모델링하기에 불충분하다고 봄
...... (Wikipedia : Connectionism)