▪ 연상(Association): 주의집중과 기억의 상호작용 및 개념 연결
마음 (Mind)은 적어도 두 개의 부분으로 구성된다. 즉 주의집중 영역 (focus of attention) 과 기억 (Memory)이다. 개념 (Concept)들은 마음속에 있으며, 주의집중 (Attention) 영역에 있을 수도 있고 기억 (Memory) 속에 있을 수도 있다.
하나의 개념 (concept)은 또 다른 개념을 불러올 수 있다. 이것은 주의집중 영역 (focus of attention) 속에 있는 첫 번째 개념 (concept 1) 이 중요한 역할을 하는 동작과 연관되어 두 번째 개념 (concept 4) 을 기억 (memory) 영역으로부터 주의집중 영역으로 불러오기 때문에 발생한다. 두 개의 개념은 완전히 임의의 (random) 원인으로 인해 연관지어질 수도 있다. 누구는 초등학교 일학년 때 선생님을 그냥 빨간색과 연관지을 수도 있다.
개념들 간의 연상은 임시의 임기응변 (temporary and ad hoc basis) 에 기초해서 성립될 수도 있다. 예를 들면 손가락 주위의 실을 어떤 날 집으로 가다가 슈퍼에서 치약을 사는 행동과 연관지을 수도 있다. 우리의 기억 속에서 연상에 대해 깊이 분석하는 것이 아니라 연관되는 개념의 원인 순서 (causal consequence) 와 관련된 것이다. 최근 이론에 따르면 연상은 에이전트에 의존하지 시간에 의존하지는 않는다는 것이다.
기억 속의 연상 (association) 에 대한 기본적인 사실은 어떤 것을 기억한다면 그것은 그것과 연관된 개념의 접근가능성 (accessibility) 을 높일 것이라는 점이다. 그럼으로써 기억 속에서 접근불가능한 개념 (inaccessible concept) 이 기억역치 (memory threshold) 를 뛰어넘어 접근가능한 개념 (accessible concept) 으로 이동하고, 그것은 다시 주의집중 영역으로 이동하여 사고 (Thinking) 에 활용되게 된다. ....... (Andrew S. Gordon 2004)
인간의 뇌는 모든 정보를 항상 의식(주의)의 무대에 올려두지 않습니다. 평소에는 무의식적 장기기억 속에 잠들어 있다가, 현재 주의집중하고 있는 단서(Cue)와 시냅스 연결 가중치로 묶인 연관 개념들이 점화(Priming)되면서 기억 역치를 넘어 작업기억(Working Memory)으로 진입합니다. 이것이 바로 인간이 창의적인 아이디어를 떠올리고 복잡한 문제를 해결하는 '연상적 사고(Associative Thinking)'의 핵심 동력입니다.
▪ 인간의 Association vs 컴퓨터의 Association vs LLM의 Association 심층 비교
'연상(Association)'이라는 개념은 생물학적 뇌의 신경망, 고전 컴퓨터의 하드웨어 내용주소화(CAM)와 해시 테이블, 그리고 현대 거대언어모델(LLM)의 트랜스포머 어텐션 및 잠재 공간에서 완전히 다른 물리적·수학적 메커니즘으로 실현됩니다.
생물학적 활성화 확산
시냅스 가소성(Hebbian Rule)과 뇌 신경망의 활성화 확산(Spreading Activation) 모델.
- • 기저: 1,000억 뉴런과 100조 개 시냅스의 연결 강도
- • 동작: 한 개념의 흥분이 연결된 개념들의 역치를 낮춤 (점화 효과)
- • 특징: 정서, 오감 경험, 일화적 맥락이 얽힌 비선형적·직관적 연상
- • 한계: 망각, 간섭 현상, 오기억(False Memory) 및 왜곡 가능성
내용 주소화 및 해시 테이블
주소 대신 데이터 내용으로 일치 항목을 검색하는 CAM 및 Key-Value 매핑.
- • 기저: CAM(Content-Addressable Memory), 해시 함수, B-트리
- • 동작: 키(Key) 값의 해시 비트를 대조해 단 1클럭에 값(Value) 인출
- • 특징: 100% 결정론적, 완벽한 정확도, 오차 없는 고속 참조
- • 한계: 비트가 1개만 달라도 검색 불가, 맥락적 유연성 및 유사도 부재
Modern Hopfield & 어텐션
연속형 홉필드 에너지 최소화와 고차원 잠재 공간의 의미론적 연상 회상.
- • 기저: Transformer Attention (Q·KT/√dk) + FFN 지식 메모리
- • 동작: 질문(Q)이 수만 단어(K) 중 확률적 에너지 골짜기로 수렴 인출
- • 특징: 지수함수적 기억 용량 O(2d/2), 문맥에 따른 동적 연상
- • 한계: 환각(Hallucination), 주의 희석(Dilution), 긴 문맥 간섭
| 비교 항목 | 인간의 Association (생물학) | 컴퓨터의 Association (하드웨어/자료구조) | LLM의 Association (현대 AI) |
|---|---|---|---|
| 본질적 정의 | 한 자극이 연합된 과거 경험과 기억을 무의식적으로 일깨우는 심리 현상 | 데이터의 특정 내용(Key)을 기준으로 대응하는 메모리 주소(Value)를 즉각 찾는 기법 | 고차원 잠재 공간에서 쿼리 벡터와 가장 연관성 높은 정보 벡터를 확률적으로 인출하는 연산 |
| 물리적 / 수학적 기반 | 시냅스 가소성 (Hebbian Plasticity) 및 대뇌 피질 분산 연결망 | CAM 반도체 회로 게이트, 해시 알고리즘 H(k), B-Tree 색인 | 트랜스포머 Self-Attention, 연속형 Modern Hopfield Network 에너지 함수 |
| 작동 메커니즘 | 활성화 확산(Spreading Activation): 연결 노드의 전위가 역치를 돌파 | 비트 단위 이진 비교 또는 해시 주소 계산을 통한 결정론적 직접 조회 (O(1)) | Softmax((QKT)/√dk)V 유사도 가중합산 및 MLP 층의 신경 메모리 인출 |
| 패턴 완성과 잡음 내성 | 매우 뛰어남: 희미한 냄새나 단편적 단서만으로 전체 기억을 생생히 복원 | 취약함: 단 1비트의 잡음이나 철자 불일치에도 검색 실패 (Fuzzy Matching 별도 필요) | 매우 뛰어남: 깨지거나 오염된 입력 프롬프트에서도 내재된 문맥을 추론해 완성 |
| 맥락 적응성 (Context) | 극도로 유연함: 개인의 정서, 신체 상태, 대화 맥락에 따라 연상 결과가 달라짐 | 고정적임: 입력된 키에 대해 언제나 동일한 주소의 값이 반환됨 | 동적 문맥화(Contextualized): 앞선 단어들과의 어텐션 상호작용에 따라 연상 결과가 변화 |
| 저장 용량과 확장성 | 방대하지만 점진적 망각 발생 (시냅스 가지치기와 경쟁 억제) | 물리적 VRAM/DRAM 크기에 비례 (고정 용량) | 지수함수적 용량 스케일링: Modern Hopfield 기준 O(2d/2) 개 패턴 저장 가능 |
| 주요 오류 및 한계 | 오기억(False Memory), 인지 편향, 트라우마성 침습 연상 | 해시 충돌(Hash Collision), 메모리 단편화, 데이터 손상 시 완전 유실 | 환각(Hallucination), 주의 희석(Attention Dilution), 적대적 프롬프트 주의 탈취 |
현대 홉필드 어텐션, FFN 지식편집·망각, TTT(Titans), HippoRAG 2, 암묵적 편향·환각·역전 저주 분석 전문 수록
▪ 최근 AI와 LLM에서 Association(연상)이 결정적으로 중요한 이유
인공지능 연구가 단순한 통계적 언어 패턴 완성을 넘어 '추론(Reasoning)'과 '에이전트 자율성(Agent Autonomy)'의 단계로 진화하면서, 학계는 트랜스포머의 본질이 사실상 '초대규모 연상 메모리(Massive Associative Memory)'라는 사실을 새롭게 규명하고 있습니다.
트랜스포머 Attention의 본질: 'Continuous Modern Hopfield 연상망'의 증명
2020~2021년 홉필드 신경망의 창시자 John Hopfield와 Sepp Hochreiter 연구진(Ramsauer et al., ICLR 2021)은 현대 인공지능 역사에서 가장 중요한 이론적 돌파구를 열었습니다. 고전 홉필드 네트워크는 저장 용량이 뉴런 수의 0.14배(0.14N)에 불과했으나, 연속형 상태와 지수 에너지 함수를 도입한 'Modern Continuous Hopfield Network'는 저장 용량이 차원에 따라 지수함수적 O(2d/2)으로 폭증합니다. 놀랍게도 이 연속형 홉필드 네트워크에서 최소 에너지를 찾아 패턴을 연상해내는 갱신 규칙이 트랜스포머의 Scaled Dot-Product Attention 공식 softmax((QKT)/√dk)V 과 수학적으로 완벽히 일치함이 입증되었습니다. 즉, LLM의 Self-Attention은 단순한 단어 가중치가 아니라, 입력 프롬프트(Query)가 연관된 기억의 어트랙터(Attractor)로 수렴하여 최적의 개념을 인출하는 물리적 연상 역학입니다.
FFN(MLP) 레이어의 키-값 연상 신경 메모리 (Key-Value Neural Memory)
Geva et al.(2021, 2022)의 기계해석학(Mechanistic Interpretability) 연구에 따르면, 트랜스포머 전체 파라미터의 약 3분의 2를 차지하는 피드포워드(FFN/MLP) 계층은 거대한 '사실적 지식 연상 사전'으로 동작합니다. 첫 번째 선형 계층의 가중치는 특정 개념이나 개체(예: "에펠탑", "파이썬")를 감지하는 'Key 벡터' 역할을 수행하고, 두 번째 선형 계층은 해당 키가 활성화되었을 때 연관된 속성이나 사실(예: "파리", "프로그래밍 언어")을 꺼내어 잔차 스트림에 더해주는 'Value 벡터' 역할을 수행합니다. 즉, LLM의 사전학습 지식은 수십억 개의 연상 쌍(Association Pairs) 형태로 가중치에 각인되어 있습니다.
다중 홉(Multi-Hop) 연상 추론과 생각의 사슬(Chain-of-Thought, CoT)
OpenAI o1·o3, DeepSeek-R1, Claude Extended Thinking 등 최신 추론 모델들이 복잡한 문제를 해결하는 원동력은 '연쇄적 연상(Associative Chaining)'입니다. 단일 추론 단계에서 답을 내지 않고, '개념 A → 연상된 B → B에서 파생된 C → 결론 D'로 이어지는 생각의 토큰을 순차적으로 생성합니다. 앞선 단계에서 연상되어 작업기억(컨텍스트 윈도우)에 기록된 결과물이 다음 연상의 새로운 자극(Cue)이 되는 이 과정은, 인간이 복잡한 논증을 전개할 때 작업기억과 장기기억 사이에서 연상을 반복 교환하는 인지 과정과 정확히 일치합니다.
인간 의미망(Semantic Network)의 현대적 구현: GraphRAG와 인지적 지식 그래프
단순한 텍스트 청크 임베딩 유사도 검색에 머물던 1세대 RAG의 한계를 극복하기 위해, 마이크로소프트의 GraphRAG 등 최신 시스템은 인지심리학의 '의미망(Semantic Network)' 이론을 차용했습니다. 비정형 문서에서 개체(Entity)와 관계(Relation)를 추출해 지식 그래프를 구성한 뒤, 질문이 입력되면 인간의 대뇌 피질에서 일어나는 '활성화 확산(Spreading Activation)' 알고리즘을 사용해 서로 멀리 떨어진 개념들 간의 숨겨진 연관 고리를 찾아냅니다. 이를 통해 국소적 단어 검색으로는 불가능했던 거시적 요약과 고차원적 통찰 연상이 가능해졌습니다.
잠재 공간(Latent Space)에서의 개념 유추(Analogy)와 창의적 도약
LLM의 잠재 표현 공간(Latent Representation Space)에서 모든 단어와 문장은 수천 차원의 밀집 벡터로 매핑됩니다. "왕(King) - 남자(Man) + 여자(Woman) = 여왕(Queen)"이라는 고전적 임베딩 연상 공식처럼, 현대 LLM은 서로 다른 영역(예: 양자역학과 철학, 생물학적 진화와 소프트웨어 아키텍처)의 개념들 사이에서 구조적 유사성(Structural Similarity)을 연상해 냅니다. 이와 같은 고차원 벡터 연상 능력이 바로 AI가 새로운 가설을 제안하고 코드를 창의적으로 합성하는 지능의 근원입니다.
▪ 인공신경망의 역사적 연상 모델: Hopfield Network & BAM
인공지능 연구에서 '연상(Association)'을 수학적 모델로 구현하려는 시도는 1980년대 연결주의(Connectionism) 혁명의 출발점이었습니다. 폰 노이만 컴퓨터의 주소 기반 메모리와 달리, 인간 뇌처럼 "일부 단서만 주어져도 전체를 기억해내는" 신경망 모델들이 제안되었습니다.
물리학자 존 홉필드(John Hopfield, 2024년 노벨 물리학상 수상)는 스핀 유리(Spin Glass) 물리계의 에너지 최소화 개념을 신경망에 도입했습니다. 대칭적 결합 가중치를 가진 완전 연결형 순환 신경망으로, 시스템의 에너지가 항상 감소하여 국소 최소점(Local Minima)으로 수렴하도록 설계되었습니다.
- • 자기 연상 메모리 (Auto-Associative Memory): 잡음이 섞인 입력으로부터 원래 패턴 복원
- • 단점: 저장 용량이 0.14N에 불과하고 가짜 상태(Spurious States) 문제 존재
바트 코스코(Bart Kosko)가 제안한 BAM(Bidirectional Associative Memory)은 서로 다른 두 층(X층과 Y층) 사이의 양방향 순환 전파를 통해 이종 패턴 간의 연상을 수행하는 이종 연상 메모리(Hetero-Associative Memory)입니다.
- • X 패턴(예: 얼굴)을 주면 Y 패턴(예: 이름)을 연상하고, 역으로 Y에서 X를 복원
- • 현대 멀티모달 LLM(텍스트 ↔ 이미지 임베딩 교차 연상)의 개념적 원형
이러한 고전적 연상 메모리 모델들은 2020년대 들어 연속형 활성화 함수와 지수 상호작용을 갖춘 Modern Hopfield Networks로 화려하게 부활하였으며, 오늘날 전 세계를 움직이는 트랜스포머 기반 거대언어모델(LLM)의 핵심 수학적 토대가 되었습니다.
▪ 관련 용어 (Related Terms)
연상(Association)과 밀접하게 연계된 인공지능, 인지과학, 언어학 및 심리학의 핵심 주제들입니다. (클릭 시 해당 상세 페이지로 이동)
▪ 참고 학술 논문 (Academic Paper)
Formalizations of Commonsense Psychology
저자: Andrew S. Gordon and Jerry R. Hobbs
게재지: AI Magazine 25(4): Winter 2004, pp. 49-62 · AAAI
* 본문에서 인용된 주의집중 영역(Focus of Attention)과 기억(Memory) 영역 간의 개념 연상 및 접근가능성 역치 모델을 정식화한 기념비적인 인지과학 논문입니다.