심리학의 연상 개념과 최신 LLM에서의 다층적 활용
최신 거대언어모델(LLM)은 심리학의 연상(Association) 개념을 단순한 비유가 아니라 모델 내부의 메모리 연산 구조, 외부 지식 그래프 탐색, 추론·프롬프팅 조향, 그리고 잠재 편향·환각 진단에 이르는 네 가지 핵심 계층에 직접 활용하고 있다.
인지심리학·심리언어학에서 연상은 기억 속 개념들이 의미적 유사성이나 반복적 동시 활성화(co-activation)를 통해 연결망을 형성하고, 선행 단서(prime)가 주어졌을 때 연결된 기억들이 연쇄적으로 활성화되어 인출을 촉진하는 작동 원리를 가리킨다. 최신 LLM 연구에서는 이 원리를 수학적으로 정식화하여 셀프 어텐션(Self-Attention)과 순전파 신경망(FFN)을 연상 기억(Associative Memory)으로 재해석하고, 선형 어텐션과 테스트 타임 학습(Test-Time Training) 아키텍처의 망각·교정 규칙으로 구현하며, 에이전트의 장기 기억 그래프와 프롬프트 조향 전략, 나아가 암묵적 편향·환각·추론 결함의 측정 도구로까지 확장하고 있다.
다만 생물학적 연상 기억과 인공 신경망 연상 사이에는 분명한 구조적 간극도 존재한다. 인간의 연상 기억은 잡음 속에서도 확산 활성화(spreading activation)를 유지하고 양방향 관계 스키마와 시공간적 일화 기억(episodic memory)을 재구성하는 적응적 체계인 반면, 현재 주류 LLM의 연상은 제한된 파라미터 내 특징 중첩(superposition)과 왼쪽에서 오른쪽으로 이어지는 자기회귀(autoregressive) 다음 토큰 예측에 기반한다. 이로 인해 LLM은 "A는 B다"를 학습하고도 "B는 A다"를 추론하지 못하는 역전 저주(Reversal Curse)를 겪고, 명시적 안전 정렬을 통과한 뒤에도 잠재적 고정관념 연상을 유지하며, 특정 구절의 강한 통계적 연상에 이끌려 사실과 다른 환각을 높은 확신도로 생성하는 취약성을 보인다.
현대 홉필드 동치성, MLP 키-값 지식 인출, Gated DeltaNet·Titans(TTT) 놀라움 기반 갱신
HippoRAG 개인화 페이지랭크 확산, A-MEM 제텔카스텐, HeLa-Mem 헤브 증류
의미적·반복 점화 역학, 원격 연상 검사(RAT), 개념 혼합(Blending) 병목 진단
IAT 무의식 고정관념 잔존, 부분 시퀀스 PMI 허위 상관 환각, 단방향 가중치 비대칭
1 모델 아키텍처 내부의 연상 기억 메커니즘
1.1 현대 홉필드 네트워크와 셀프 어텐션의 수학적 등가성
신경연결주의에서 연상 기억의 고전적 토대는 헤브(Hebb, 1949)의 학습 규칙과 존 홉필드(John Hopfield, 1982)의 이진 연상 기억 네트워크다. 고전 홉필드 네트워크는 저장하려는 패턴들의 외적(outer product) 합으로 가중치 행렬을 구성하고 에너지 최소화 동역학을 통해 불완전한 단서로부터 가장 유사한 저장 패턴을 복원했다. 그러나 패턴 저장 용량이 차원 d에 선형 비례하는 수준(약 0.14d)에 그치고 서로 유사도가 높은 패턴들을 구별하지 못하는 한계가 있었다.
트랜스포머의 스케일드 닷-프로덕트 셀프 어텐션이 바로 이 연상 기억 모델을 연속 공간으로 확장한 현대적 일반화라는 사실은 Ramsauer 등(2020; ICLR 2021)에 의해 증명되었다. 연구진은 지수 상호작용 함수를 활용해 용량을 키운 현대 홉필드 네트워크(Dense Associative Memory)의 에너지 함수를 연속 상태 벡터에 맞게 일반화하고, 상태 벡터 크기의 발산을 막는 이차항을 추가한 뒤 오목-볼록 절차(CCCP)를 통해 에너지가 단조 감소하는 미분 가능한 업데이트 규칙을 도출했다.
이 업데이트 식에서 저장된 패턴 행렬 X를 키(Key)·밸류(Value)로, 현재 상태 벡터 ξ를 쿼리(Query)로, 역온도 파라미터 β를 1/√dk로 대응시키면 현대 연속 홉필드 네트워크의 단일 업데이트 단계는 트랜스포머의 셀프 어텐션 연산과 정확히 일치한다. 이러한 수학적 대응 조건하에서 어텐션 층은 연상 공간 차원 d에 지수적으로 비례하는 패턴 저장 용량을 확보하며, 통상 단 한 번의 업데이트(순전파)만으로 지수적으로 작은 오차 범위 내에서 고정점(단일 패턴, 부분집합 평균인 준안정 상태, 또는 전역 평균 고정점)을 찾아내는 내용 주소 지정 메모리(content-addressable memory)로 작동한다.
1.2 FFN과 MLP의 키-값 연상 기억 및 지식 편집·망각
어텐션이 문맥 내 동적 연상 인출을 담당한다면, 트랜스포머 블록 내부의 다층 퍼셉트론(MLP/FFN)은 사전학습 과정에서 축적된 사실적 연상을 저장하는 장기 메모리로 해석된다. Geva 등(2021)은 피드포워드 블록(Wout · σ(Win · x))의 연산 구조를 분석해 입력 측 투영이 특정 입력 패턴을 탐지하는 연상 키(Key)로 작동하고, 출력 측 투영이 어휘 공간 위의 확률 분포를 생성하는 밸류(Value)로 기능한다는 키-값 메모리 해석을 제시했다.
이러한 키-값 연상 해석은 모델을 처음부터 재학습하지 않고 내부 지식만 수정·삭제하는 지식 편집(Knowledge Editing)과 기계 망각(Machine Unlearning) 기법의 설계 원리로 활용되고 있다. 위치 추적 후 편집(Locate-then-Edit) 계열에서 ROME(Meng 등, 2022)은 인과 추적(causal tracing)으로 주어-관계-목적어 연상을 매개하는 특정 MLP 층을 찾아낸 뒤 해당 키-값 매핑을 단일 벡터 차원에서 덮어쓰며, MEMIT(Meng 등, 2023)은 수천 개의 사실을 여러 연속 층에 분산 배치해 일괄 편집한다. 한발 더 나아가 AlphaEdit(Fang 등, 2024)은 보존해야 할 기존 지식 키들의 영공간(null-space) 위로 가중치 섭동을 사영하여 순차적 편집 시 기존 연상이 훼손되는 간섭을 억제한다.
기계 망각 분야에서도 이러한 국소화 원리가 적용되어, 중간 활성화를 무작위 방향으로 유도하는 표현 교란 기법(RMU) 외에도 FFN 다운 프로젝션 가중치의 기하학적 제약을 활용하는 ERASE(EMNLP 2026 Findings), 인과 추적으로 망각 층을 선택하고 표현을 이탈시키는 KUDA, MEMIT 기반 초기화 위에 삭제 대상 키 집합을 분리해 최적화하는 Knowledge Washing(ICLR 2025), 그리고 희소 오토인코더(SAE)로 추출한 개념 특징을 MLP 벡터에서 직접 제거하는 접근들이 제안되었다.
그러나 최근의 해석가능성 및 기하학 연구들은 FFN을 독립된 지식 서랍장처럼 다루는 국소 편집 관점에 중요한 한계를 제기한다. 첫째, 신경망 파라미터는 차원 수보다 훨씬 많은 개념을 압축해 담는 중첩(superposition) 상태에 놓여 있어 개별 뉴런이나 국소 슬롯이 다수의 무관한 특징을 동시에 부호화하므로, 특정 연상만 외과적으로 수정·절제할 때 부수적인 성능 저하가 발생하기 쉽다는 지적이 제기된다. 둘째, 여러 실증 평가에서 망각 기법을 거친 모델조차 실제 지식이 파라미터에서 소거되기보다 표면적 출력 경로만 억제되는 얕은 망각(shallow unlearning)에 그쳐 적대적 프롬프트나 소규모 미세조정으로 기존 연상이 다시 복원되는 현상이 확인되었다. 셋째, ICML 2025에 발표된 표현 파쇄(Representation Shattering) 연구는 트랜스포머가 단순 사실 암기를 넘어 논리적·합성적 추론을 가능케 하는 전역적 데이터 다양체(manifold) 기하 구조를 학습하며, ROME·MEMIT·PMET·AlphaEdit 같은 국소 편집을 적용할 경우(특히 사실과 반대되는 반사실적 편집 거리가 클수록) 이 전역 표현 기하 구조가 부서져 편집 대상과 무관한 연관 추론 정확도까지 함께 하락함을 보였다.
1.3 선형 어텐션, 델타 규칙, 그리고 테스트 타임 학습 (TTT)
표준 소프트맥스 어텐션은 시퀀스 길이 N에 대해 O(N2) 연산 복잡도를 가지며, 디코딩 시 문맥 길이에 비례해 커지는 KV 캐시 상태를 유지해야 한다. 이를 O(N) 복잡도와 고정 크기 상태로 대체하려는 선형 어텐션 및 상태 공간 모델(SSM)의 발전사는 본질적으로 제한된 용량의 연상 기억에서 발생하는 기억 간섭과 망각 문제를 해결하려는 시도다.
Schlag, Irie, Schmidhuber(2021)는 커널화된 선형 어텐션이 1990년대 초 제안된 고속 가중치 프로그래머(Fast Weight Programmers, FWPs)와 형식적으로 동치임을 보였다. 학습 후 가중치가 고정되는 일반 신경망(느린 가중치)과 달리, FWP는 추론 시 입력 토큰이 들어올 때마다 키와 밸류의 외적을 누적해 빠른 가중치 행렬을 실시간으로 프로그래밍한다. 하지만 단순 가산(additive) 방식의 외적 누적은 고정 크기 행렬에서 과거 연상을 지우는 연산이 없어, 입력 키 벡터들이 서로 직교(orthogonal)하지 않는 한 새 연상과 과거 연상이 겹쳐 뭉개지는 치명적 간섭과 용량 포화를 유발한다.
이 취약성은 다중 질의 연상 회상(Multi-Query Associative Recall, MQAR) 벤치마크에서 정량적으로 입증되었다. Arora 등(ICLR 2024, Zoology)은 2개 층의 표준 어텐션 모델이 귀납 헤드(induction heads) 작동 원리를 통해 문맥 내 다수의 키-밸류 쌍을 안정적으로 회상하는 반면, 입력 비의존적 게이트 합성곱 모델은 모델 차원 d가 시퀀스 길이 N 이상이 되지 않으면 MQAR 정확도 0.9를 넘기지 못하며, 실제 텍스트(The Pile)에서 나타나는 퍼플렉시티(perplexity) 격차 역시 대부분 문맥 내 이전 연상을 되짚어야 하는 'AR Hits' 토큰에서 비롯됨을 밝혔다. 입력 의존적 상태 전이(선택적 스캔)를 도입한 Mamba는 MQAR 성능을 크게 끌어올렸으나, 2025년 후속 연구들은 Mamba가 트랜스포머에 비해 매우 좁은 학습률 안정 구간과 너비-깊이 비율 민감성을 보이며, 진정한 일반화 연상 대신 템플릿의 구조적 위치 단서에 의존하는 n-gram 단축(shortcut)에 빠져 순서가 뒤섞인 분포 외 평가에서 취약해진다는 점을 지적했다.
최근 순환·선형 아키텍처들은 이 연상 회상 한계를 극복하기 위해 오류 교정 학습과 능동적 망각 기제를 아키텍처 내부로 끌어들였다. 우선 DeltaNet은 Widrow와 Hoff(1960)의 델타 규칙(delta rule)을 FWP에 도입해, 새 키-밸류 쌍을 쓰기 전에 현재 메모리 상태가 해당 키에 대해 내놓는 기존 예측값을 먼저 인출해 감산하고 오차분만큼만 덮어씀으로써 키-밸류 대응 간 간섭을 줄였다. 이어 ICLR 2025에 발표된 Gated DeltaNet은 이 표적 덮어쓰기(델타 규칙)에 Mamba-2 스타일의 지수적 상태 감쇠 게이트(망각·가중치 감쇠)를 결합해 불필요한 과거 상태는 빠르게 비우고 중요한 연상은 정밀하게 교정하도록 설계되었다. 4K 토큰 길이의 문맥 내 숫자 검색 과업에서 Gated DeltaNet은 비교 대상 순환 모델 중 가장 높은 성능을 보였고 평균 점수에서도 Mamba-2와 DeltaNet을 앞섰으나, Transformer++ 평균 점수에는 미치지 못했고 클로즈 형식의 FDA(23.7 대 25.3), TQA(60.0 대 61.0), NQ(20.0 대 20.8) 세 과업에서는 Mamba-2보다 소폭 낮은 수치를 기록했다. 한편 최근 일부 대형 모델 아키텍처에서는 이러한 선형 델타 어텐션 계열(Gated DeltaNet 또는 KDA)과 전체 어텐션(Full Attention/MLA)을 3:1 비율로 혼합 배치하여 고정 상태 효율성과 정밀 회상 능력을 절충하는 하이브리드 설계가 채택되고 있다.
한 걸음 더 나아가 구글 리서치의 Behrouz 등(NeurIPS 2025)이 제안한 Titans는 인간 장기 기억이 단일 모듈이 아닌 단기·작업·장기 기억의 연합체이며 기대를 벗어나는 놀라운 사건일수록 강하게 기억된다는 인지심리학 이론(Mandler, 2014)을 테스트 타임 학습(Test-Time Training)에 결합했다. Titans는 정밀한 단기 문맥을 맡는 슬라이딩 윈도우 어텐션(Core), 과업 지식을 고정 보관하는 영구 메모리(Persistent Memory), 그리고 추론 시점(test time)에도 가중치를 실시간 업데이트하는 심층 MLP 기반 장기 신경 메모리(Long-term Neural Memory)로 구성된다. 장기 메모리는 다음의 연상 기억 손실 함수를 최소화하도록 온라인 경사하강법으로 갱신된다.
여기서 손실 함수의 기울기 ∇ℓ(Mt-1; xt)는 기존 기억이 새 입력을 예측하지 못한 정도, 즉 모델의 '놀라움(surprise)' 지표 역할을 한다. Titans는 큰 사건 직후 이어지는 맥락까지 함께 저장하기 위해 과거 놀라움을 누적하는 모멘텀과 불필요한 과거 추상화를 지우는 적응형 망각 게이트를 결합했다. 16K 길이 RULER S-NIAH-N 벤치마크에서 Titans(MAC 변형)는 97.4점을 기록해 TTT(4.4점)를 크게 앞섰으며, 관련 기술 리뷰 요약에 따르면 MAC 변형은 16K 길이 S-NIAH 세 하위 과업 전반에서 95–98% 정확도를 유지한 반면 Mamba-2는 0–5.4%, DeltaNet은 0–71.4%로 급락했고, MAG 변형(760M)은 Wikitext 퍼플렉시티 18.61을 기록했다. 또한 다중 문서 분산 추론(BABILong)에서 MAC 변형은 GPT-4 및 Llama-3.1-70B 등 훨씬 큰 모델들을 상회하고 200만 토큰 이상으로 확장되었으며, TC⁰ ≠ NC¹ 가설하에서 표준 트랜스포머가 풀지 못하는 특정 상태 추적 문제까지 처리할 수 있다. 다만 200만 토큰 이상 확장 평가는 BABILong에 해당하며 S-NIAH 실험은 16K까지만 수행되었다는 점, 그리고 추론 중 문맥 데이터를 파라미터에 압축 저장하는 구조 특성상 보안·안전·정렬 측면의 새로운 도전이 따른다는 점이 함께 지적된다. 후속 연구인 MIRAS와 ATLAS(2025–2026)는 트랜스포머, 선형 RNN, TTT를 모두 ① 연상 기억 구조, ② 어텐션 편향(내부 손실), ③ 유지 게이트(망각 정규화), ④ 메모리 학습 알고리즘이라는 네 축의 통합 프레임워크로 체계화했다.
| 아키텍처 계보 | 연상 기억의 표현 방식 | 쓰기·교정 및 망각 메커니즘 | 복잡도 & 회상 트레이드오프 |
|---|---|---|---|
| 표준 소프트맥스 어텐션 | 문맥 전체의 키-밸류 쌍 직접 보관 (현대 연속 홉필드 네트워크와 등가) | 새 토큰을 캐시에 무손실 추가 (별도 망각 없음) | O(N2) 연산, 문맥 비례 상태 크기; 차원 d에 지수적 용량; 정밀 회상이 강점이나 초장문에서 연산·메모리 병목 |
| 가산형 선형 어텐션 | 고정 크기 행렬 상태 (외적 누적 FWP) | 단순 가산 누적; 명시적 삭제·망각 부재 | O(N) 연산, O(1) 상태 크기; 비직교 키 누적 시 용량 포화 및 간섭으로 다중 질의 회상(MQAR) 성능 저하 |
| Gated DeltaNet | 고정 크기 행렬 상태 (선형·게이트 전이) | 델타 규칙(기존 예측 감산 후 표적 갱신) 및 지수 감쇠 게이트 | O(N) 연산, O(1) 상태; 4K 검색에서 Mamba-2·DeltaNet 상회; Transformer++ 대비 평균 열세 및 특정 과업 미세 열세 |
| Titans · MIRAS · ATLAS | 심층 비선형 MLP 가중치 (단기 어텐션·영구 메모리와 결합) | 놀라움 기울기(∇ℓ)와 모멘텀(St) 및 적응형 망각 게이트(1 - αt) | 청크 병렬화; 16K S-NIAH 97.4점(TTT 4.4점 대비) 및 BABILong 2M+ 확장; 테스트 타임 가중치 갱신 비용 및 압축 메모리 정렬 과제 |
2 외부 메모리와 LLM 에이전트에서의 연상 네트워크
2.1 해마 인덱싱 이론과 개인화 페이지랭크 (HippoRAG)
표준 검색 증강 생성(RAG)은 문서를 독립된 벡터 청크로 분할해 코사인 유사도만으로 검색하기 때문에, 서로 다른 문서에 흩어진 단서를 연결해야 하는 다중 홉(multi-hop) 추론에서 심각한 연상 격차(associativity gap)에 부딪힌다. 이를 해소하기 위해 HippoRAG(Gutiérrez 등, NeurIPS 2024)와 HippoRAG 2(2025)는 인간의 장기 기억 통합을 설명하는 해마 인덱싱 이론(Hippocampal Indexing Theory)을 외부 지식 그래프 검색에 직접 구현했다.
이 아키텍처는 세 가지 신경생물학적 대응 요소를 결합한다. 첫째, 인공 신피질 역할을 하는 LLM이 오프라인 색인 단계에서 말뭉치로부터 개체-관계-개체(주어, 관계, 목적어) 트리플을 추출하고 온라인 질의 시 핵심 명명 개체를 뽑아낸다. 둘째, 해마방 영역(PHR) 역할을 하는 밀집 임베딩 인코더가 서로 다른 문서에 흩어진 동의어 표현(예: "JFK"와 "John F. Kennedy") 간 유사도가 임계치를 넘을 때 동의어 엣지(synonymy edge)를 연결해 단절된 그래프를 촘촘히 잇는다. 셋째, 인공 해마인 무스키마 개방형 지식 그래프 위에서 개인화 페이지랭크(Personalized PageRank, PPR)가 실행된다. 질의에서 추출된 개체들을 시드(seed) 노드로 삼아 각 노드의 희소성(등장 문서 수의 역수 1/|Pi|)에 비례한 초기 확률 질량을 주입하고 PPR로 확률을 전파하면, 여러 시드로부터 퍼진 확률 질량이 교차·집중되는 다중 홉 매개 노드와 관련 문서가 단 한 차례의 검색만으로 떠오른다. 이는 심리학의 확산 활성화(spreading activation)를 확률적 그래프 탐색으로 치환한 구조다.
HippoRAG는 다중 홉 벤치마크에서 기존 단일 단계 RAG 대비 최대 약 20%포인트 높은 재현율을 보였으며(2WikiMultiHopQA Recall@5 기준 밀집 검색 ColBERTv2의 68 대비 HippoRAG 89 기록), LLM을 여러 차례 반복 호출하는 다단계 검색과 비교해 정확도는 대등하면서도 6–13배 빠르고 10–30배 낮은 비용을 달성했다. 후속작 HippoRAG 2는 구(phrase) 노드 중심 색인의 문맥 유실 문제를 보완하기 위해 원문 구절(passage) 노드를 그래프에 직접 통합하고, LLM이 후보 트리플의 맥락 적합성을 걸러내는 재인 기억(recognition memory) 필터링을 추가해 사실 기억·맥락 이해·연상 기억 과업 전반에서 기존 임베딩 기반 RAG를 능가하는 비모수적 연속 학습(non-parametric continual learning) 성능을 보고했다. 다만 HippoRAG 2가 GraphRAG·LightRAG 등과 겨룬 상세 벤치마크 F1 수치 표 자체는 공개 요약에서 직접 확인되지 않아 구체적 정량 비교보다는 구조적 진보 중심으로 해석할 필요가 있다.
2.2 제텔카스텐과 헤브 학습 기반 에이전트 메모리
장기 대화와 다중 세션 과업을 수행하는 AI 에이전트 분야에서도 기억을 고립된 텍스트 로그가 아닌 자기조직화 연상 네트워크로 구축하는 연구가 확산되고 있다. A-MEM(Xu 등, NeurIPS 2025)은 사회학자 니클라스 루만의 제텔카스텐(Zettelkasten) 카드 상자 기법에서 영감을 받아, 상호작용마다 원문·키워드·태그·맥락 설명이 담긴 노트를 생성하고 기존 노트들과 동적 링크를 연결한다. 특히 새로운 기억이 추가될 때 연관된 과거 노트의 태그와 맥락 설명까지 함께 갱신하는 기억 진화(memory evolution)를 통해 다중 홉 추론 성능을 높였으며(연산 1회당 약 0.0002349달러 수준, 단일 홉 F1 27.0% 보고), 관련 실무 비평과 후속 비교 연구에서는 오래된 링크를 쳐내는 가지치기(pruning) 메커니즘이 없어 장기 운용 시 그래프 잡음이 쌓일 수 있다는 점과 실제 검색 시 그래프 전파보다 임베딩 유사도에 주로 의존한다는 구현상 한계가 지적되기도 했다.
보다 직접적으로 신경과학의 헤브 학습과 일화-의미 기억 전이를 통합한 HeLa-Mem(2026)은 "고립이 아닌 연상(Association over Isolation)"을 핵심 설계 원칙으로 삼는다. 이 시스템은 대화 턴을 일화 기억 그래프(Episodic Memory Graph)의 노드로 저장하되 함께 활성화·인출되는 기억 사이의 엣지 가중치를 헤브 학습 규칙으로 점진 강화하고, 연결 밀도가 임계치를 넘긴 허브 클러스터를 성찰 에이전트(Reflective Agent)가 헤브 증류(Hebbian Distillation)해 안정적인 의미 기억 저장소(Semantic Memory Store)로 공고화한다. 질의 시에는 일화 세부 정보와 추상화된 의미 지식을 동시에 활성화하는 이중 경로 확산 활성화(Dual-Path Spreading Activation)를 통해 평균 300턴(약 9K 토큰)에 달하는 장기 대화(LoCoMo)의 일관성을 높인다. 이 밖에도 개체 중심 관계 그래프로 67.1% 단일 홉·51.2% 다중 홉 정확도와 91% 지연시간 감소를 달성한 Mem0(및 시간 추론 58.1%를 보인 Mem0g), 세션 간 사실 변화를 추적하는 시간 인식 지식 그래프 Zep 등이 상호 보완적으로 발전하고 있다.
그럼에도 인지과학계(Trends in Cognitive Sciences 2025 및 에이전트 메모리 서베이)는 이러한 공학적 그래프 메모리를 인간의 일화 기억과 동일시하는 과잉 유비(risk of over-analogy)에 주의를 촉구한다. 현재 LLM 에이전트가 저장·인출하는 일화 노드는 타임스탬프와 메타데이터가 부여된 공학적 기록물이지 인간처럼 시공간적 맥락을 내적으로 재구성해 체험하는 기억이 아니며, 시간적·관계적 복잡도가 높아질수록 현재 LLM의 일화 추론 성능이 급격히 하락한다는 점에서 진정한 인간 수준의 일화 기억은 아직 도달해야 할 연구 목표로 평가된다.
3 추론, 프롬프팅, 창의성에서의 점화 및 연상 원리
3.1 문맥 창 내 의미적·반복 점화와 프롬프트 조향
심리언어학의 의미적 점화(Semantic Priming)는 선행 단어(cat)가 제시된 직후 의미적으로 연관된 표적 단어(dog)의 처리 속도가 무관한 단어(table) 뒤보다 빨라지는 현상이다. LLM 역시 문맥 창 내 선행 토큰에 반응해 다음 토큰 확률 분포와 내부 활성화 공간을 조향하는 점화 특성을 나타낸다. 심리언어학의 검증된 자극 쌍(Semantic Priming Project, SPP)으로 GPT-4o mini를 평가한 연구(2025)에서, 관련 점화어가 주어졌을 때 표적 단어의 다음 토큰 로그 확률이 통계적으로 유의미하게 상승했다(완전 사례 분석 기준 T = 1793.0, p < 0.05). 또한 내부 계층 추적 연구(arXiv:2505.15392)는 LLM에서 점화 단서에 의한 정박(anchoring) 효과가 주로 모델의 초기 층, 특히 개별 토큰들이 고차원 의미의 재료로 결합되는 역토큰화(detokenization) 단계에서 관련 토큰들이 임베딩 공간상 근접 활성화되면서 발생함을 규명했다.
하지만 LLM의 점화는 인간의 확산 활성화와 두 가지 측면에서 뚜렷하게 갈라진다. 첫째, GPT-4o mini 실험에서 완전 사례 분석 시에는 점화 효과가 검출되었으나 결측치를 다중 대체(multiple imputation)한 데이터셋에서는 유의성이 사라졌는데, 이는 인간의 연상 점화가 잡음이나 결측에도 강건하게 전파되는 것과 달리 LLM의 다음 토큰 확률 기반 점화 신호는 비교적 약하고 전처리 왜곡에 취약함을 시사한다. 둘째, 5개 모델군 15개 모델(1.5B–14B)과 대조군 인간 참가자를 대상으로 반복 점화(Repetition Priming)를 비교한 연구(arXiv:2608.14681)는 사후 학습 여부에 따라 질적으로 다른 처리 모드가 분화됨을 발견했다. 사전학습만 마친 기반(Base) 모델은 중간 방해 문맥이나 시차(lag)와 무관하게 단어가 반복되면 즉각 촉진되는 자동적·자극 주도적 재활성화 모드를 보인 반면, 지시 조율 및 선호 정렬을 거친 Instruct 모델은 시차가 길어질수록 촉진 효과가 감쇠하다가 모델 규모가 커질수록 오히려 성능을 깎아먹는 간섭(interference)으로 역전되는 통제적·문맥 의존적 재평가 모드로 전환되었다. 같은 자극에서 인간은 시차에 민감하면서도 모든 구간에서 일관된 촉진 효과를 유지해, 기반 모델·Instruct 모델 모두와 구별되는 제3의 인지 프로파일을 보였다.
프롬프트 엔지니어링 실무에서는 이 점화 메커니즘을 의도적인 출력 조향 도구로 활용한다. AI 엔지니어링 실무 사례에서 설명하듯, 모델에게 단순히 역할 지시문만 주는 대신 과업 수행 전에 특정 어휘 단서를 노출해 임베딩 공간의 활성 영역을 미리 편향시키거나(예: 색상 요청 전 cheeto라는 단어를 노출해 기본 파랑·회색 계열 대신 주황색 계열을 유도), 단계적 추론(CoT)을 통해 중간 논리 연상을 순차 점화하는 방식이 대표적이다. 서사적 점화(narrative priming) 연구 종합에 따르면 일관된 서사 구조로 입력을 구성하면 코드 생성의 모듈성과 다중 에이전트 간 협력이 안정화되지만, 반대로 공격자가 조작된 선행 대화 턴을 심어 모델의 맥락 점화 민감성을 악용하는 맥락 연쇄 탈옥 공격(Response Attack) 같은 보안 취약점으로도 이어진다.
3.2 원격 연상과 발산적·수렴적 사고 기반의 창의성 평가 및 유도
메드닉(Mednick, 1962)의 창의성 연상 이론은 창의성을 흔한 고빈도 연상을 넘어 의미적 거리가 먼 원격 개념들을 새롭고 유용하게 연결하는 능력으로 정의한다. 최근 LLM 평가 연구는 자유 연상과 원격 연상 검사(RAT) 패러다임을 적극 도입해 모델의 개념망 구조와 창의적 한계를 측정하고 있다. LLM World of Words(Abramski 등, Scientific Data 2025)는 Llama 3, Claude Haiku, Mistral로부터 대규모 자유 연상 규준을 수집해 인간의 자유 연상 데이터베이스(SWOW)에 대응하는 의미 기억 네트워크를 구축하고 확산 활성화 시뮬레이션을 통해 연상 구조와 잠재 편향을 분석했다. 또한 세 개의 2차 시드에서 병렬로 20단어 연상 사슬을 생성해 FastText 의미 거리를 재는 PACE(EMNLP 2025), 두 무관한 개체 간 연상 경로·유추·개념 혼합을 시험하는 KOMBINE, 발산 연상(DAT)과 수렴적 RAT를 통합한 DRAT 등이 개발되었다.
이 평가들이 드러낸 실증적 결과는 LLM 창의성의 명암을 선명히 보여준다. 35개 LLM과 75명의 인간 참가자를 비교한 KOMBINE 벤치마크에서 LLM은 사실 기반 연상 경로 탐색(59.0%)과 유추(53.4%)에서는 인간 참가자 대부분을 앞섰으나, 두 개념의 속성을 융합해 새로운 발명품을 도출하는 개념 혼합(blending) 정확도는 43.4%로 10–16%포인트 하락하는 추상화 병목(abstraction bottleneck)을 보였다. PACE에서도 최상위 LLM은 평균적인 인간 수준의 연상 거리를 달성했으나 전문 창작자 집단에는 미치지 못했다. 더욱이 창의성 측정 도구의 타당도를 검증한 연구(arXiv:2605.13450)에 따르면, LLM이 발전하면서 창작 글쓰기(+1.22 z/년)와 과학 아이디어(+1.00 z/년) 점수는 상승했지만 발산적 사고 점수는 오히려 하락(-0.47 z/년)했으며, PACE의 창작 글쓰기 예측력(r ≈ 0.73)은 일반 지능을 통제하면 유의성을 잃는(r|g ≈ 0.15) 반면 발산·수렴 사고를 결합한 DRAT만이 과학적 창의성을 유의미하게 예측했다(r = +0.57, p ≈ 0.008; 일반 지능 통제 후 r|g = +0.50, p ≈ 0.02).
프롬프팅 기법 측면에서는 LLM이 고확률·중심부 연상으로 수렴하는 성향을 깨기 위해 심리학의 발산적 사고(Divergent Thinking)와 수렴적 사고(Convergent Thinking)를 명시적으로 분리한다. CreativeDC는 1단계에서 과업 제약 없이 이질적이고 의외성 있는 아이디어를 폭넓게 연상한 뒤 2단계에서 목표 조건에 맞춰 정제하도록 유도해 기존 대비 약 1.6배 많은 고유·고효용 과업을 생성했고, 초보 디자이너를 위해 기억·작동·장면·속성의 4가지 연상 차원을 계층화한 프롬프팅은 유창성·유연성·독창성을 유의미하게 향상시켰다. 그럼에도 불구하고 LLM의 최빈값 디코딩과 정렬 학습은 출력을 인간 응답 공간의 안전한 중심부로 모으는 경향이 강하며, 인간과 LLM이 탐색하는 의미 공간 영역 자체가 서로 달라 LLM을 창작 파트너로 과도하게 사용하면 사용자 간 아이디어가 서로 닮아가는 동질화(homogenization) 현상이 발생한다는 경고가 다수의 연구에서 반복되고 있다.
4 심리학적 연상 패러다임을 활용한 진단과 LLM의 구조적 한계
심리학의 연상 이론은 모델 성능을 높이는 수단을 넘어, 최신 LLM 내부에 숨어 있는 편향·환각·비대칭 추론 결함을 정밀하게 진단하는 분석 프레임워크로도 활용된다.
| 진단 패러다임 (심리학 기원) | LLM에서의 발현 메커니즘 및 핵심 실증 결과 | 완화 기법 및 잔존 한계 |
|---|---|---|
| 암묵적 연상 검사 (IAT) | 명시적 편향 평가를 통과한 정렬 모델에서도 집단-속성 간 잠재 연상 잔존; 33,600개 프롬프트 평가에서 유의미한 고정관념 편향(t(33,599) = 76.39, P < 0.001); 10개 의료 LLM 모두 인종(평균 0.61)·사회경제적 지위(평균 0.56) 암묵 편향 노출 및 유효 결정의 66.4%에서 차별적 선택 패턴과 연계(p < 0.001) | 단계적 추론(CoT)이나 모델 확장(32B에서도 MIAT = 0.34)으로 해소 불가; 표층적 발화 억제를 넘어선 표현 공간 수준의 탈편향 필요 |
| 연상 단축 및 부분 시퀀스 점화 | 입력 내 특정 단서 조합이 학습 말뭉치의 강한 연상(PMI Ψ)을 점화해 문맥을 거스르는 고확신 환각 유발; GPT-5·DeepSeek-V3 등에서도 강한 허위 상관 기반 환각은 모델 확신도·내부 상태 프로브로 탐지 불가 입증 | 부분 시퀀스 연상 추적으로 환각 원인 역추적; 결과 보상 강화학습(RLVR) 역시 우연한 단축 패턴을 강화할 수 있어 변인 교란 학습(AdaR) 필요 |
| 단방향 연상 — 역전 저주 (Reversal Curse) | "A는 B다"를 학습해도 "B는 A다" 추론 정확도가 무작위 수준으로 추락; 자기회귀 다음 토큰 예측의 가중치 비대칭과 인수분해 저주가 원인; ROME·MEMIT 지식 편집도 역방향 회상에 대다수 실패 | 항등 브리지(Identity Bridge) 정규화로 실제 역전 통과율 40%까지 개선(단, 긴 이름은 7%로 하락); 문맥 내 편집(IKE)은 LLaMA-3 8B에서 51.78% 역방향 회상; 양방향 디퓨전 LLM + 대칭 모델링(DiffER) 연구 진행 |
4.1 암묵적 편향과 이중 편향 시스템의 출현
Bai 등(PNAS 2025)은 인간의 무의식적 고정관념을 재는 암묵적 연상 검사(IAT)를 프롬프트 기반의 단어 연상 편향 검사와 상대적 의사결정 편향 검사로 번역해 인종·성별·종교·건강 4개 범주 21개 고정관념(총 33,600개 고유 프롬프트)에 대해 가치 정렬이 완료된 LLM들을 평가했다. 그 결과 명시적 질문에는 공정하고 중립적인 답변을 내놓는 모델들조차, 이름과 속성 단어를 짝짓는 연상 과제에서는 통계적으로 유의미한 고정관념 편향을 일관되게 드러냈다(t(33,599) = 76.39, P < 0.001). 특히 이 프롬프트 기반 단어 연상 편향은 정적 임베딩 편향 지표보다 실제 상대적 의사결정 편향을 더 잘 예측했으며, 절대 평가보다 양자 간 상대적 선택 상황에서 편향이 훨씬 뚜렷하게 포착되었다.
이러한 잠재 연상은 고위험 실무 영역의 판단을 직접 왜곡한다. ChatGPT-4o, Gemini-2.0-Flash, DeepSeek-V3, Qwen3 등 10개 주요 LLM을 대상으로 24개 의료 편향 데이터셋(6개 범주)을 평가한 연구(PLOS ONE)에서, 10개 모델 모두 전 범주에서 0보다 큰 암묵적 편향을 보였고 특히 인종(평균 0.61)과 사회경제적 지위(평균 0.56)에서 편향이 가장 강했다. 더욱이 강하게 형성된 암묵적 연상은 임상 시나리오에서 소외 집단에 부정적 결과를, 우대 집단에 긍정적 결과를 배정하는 차별적 결정(유효 결정의 66.4%)을 유의미하게 예측했다(p < 0.001). 모델 규모를 32B까지 키우거나(MIAT = 0.34) 단계적 추론(CoT)을 유도해도 암묵적 편향은 유의미하게 제거되지 않았는데, 이는 인간의 이중 과정 편향처럼 사후 안전 정렬(RLHF)이 표면적 발화 억제만 학습할 뿐 사전학습 단계에서 깊이 각인된 연상 네트워크 자체를 교정하지 못했음을 보여준다.
4.2 부분 시퀀스 연상에 의한 환각과 단축 학습
환각 현상 또한 문맥의 논리적 의미를 압도하는 연상 기제의 과잉 작동으로 정식화된다. NeurIPS 2025에 발표된 부분 시퀀스 연상(Subsequence Association) 프레임워크(arXiv:2504.12691)는 단어 간 점별 상호정보량(PMI)을 연속·비연속 부분 시퀀스 단위로 일반화하여 기존에 개별적으로 다뤄지던 15가지 환각 원인을 하나의 연상 공식으로 통합했다.
예를 들어 "He never watched the Lion King. He is Elton John." 같은 환각 문장에서 입력 속 단서 부분 시퀀스 (Lion, King, El)이 학습 코퍼스상의 강한 연상 강도 Ψ를 통해 (ton, John)을 강하게 점화하면, 모델은 "never watched"라는 부정 문맥을 무시한 채 잘못된 완성 토큰을 생성한다. 반대로 학습 코퍼스에서 빈도가 낮은 희소 사실은 연상 강도가 충분히 정제되지 않아 오류를 일으키는 롱테일(long-tail) 환각으로 이어진다.
이 문제가 더욱 까다로운 이유는 허위 상관(spurious correlations)이 개입한 환각을 기존 기법으로 탐지하기 어렵기 때문이다. GPT-OSS-20B, Qwen3-30B-A3B, DeepSeek-V3, GPT-5를 대상으로 수행한 이론·실증 연구(arXiv:2511.07318)는 모델이 인과성이 없는 강한 통계적 연상(예: -kov로 끝나는 성씨와 러시아 출생지)을 학습할 경우, 모델이 허위 상관에 부합하는 환각을 극도로 높은 확신도로 생성하며 자체 확신도 점수·어텐션 점수·은닉 상태 선형 프로빙·거부 미세조정 같은 기존 탐지 및 완화 기법들이 모두 실패함을 보였다. 최근 추론 모델 학습에 널리 쓰이는 검증 가능 결과 보상 강화학습(RLVR) 역시 표면적 연상 단축(shortcut)으로 우연히 정답을 맞힌 경우와 진정한 적응적 추론을 결과 보상만으로는 구분하지 못해 허위 연상 추론을 강화할 위험이 있다는 점이 지적되었다.
4.3 단방향 연상의 한계: 역전 저주 (Reversal Curse)
인간은 "A는 B다"라는 관계 명제를 이해하면 자연스럽게 "B는 A다"라는 역방향 연상도 함께 형성한다. 반면 자기회귀 LLM은 "A is B" 형태의 문장으로 학습했을 때 "B is A"를 묻는 역방향 질의에 대해 정답 확률을 무작위 수준 이상으로 높이지 못하는 역전 저주(Reversal Curse)를 보인다(Berglund 등, ICLR 2024).
이론적 학습 동역학 분석들에 따르면, 역전 저주는 단순히 학습 데이터 빈도의 문제가 아니라 왼쪽에서 오른쪽으로 다음 토큰을 예측하는 목표 함수와 경사하강법의 암묵적 편향이 모델 가중치 행렬의 순방향 블록에만 연상을 기록하고 역방향 대응 블록은 0으로 남겨두는 가중치 비대칭성과 인수분해 저주(Factorization Curse)에서 비롯된다. 이 단방향 연상 구조는 모델 편집에도 그대로 전이되어 ROME이나 MEMIT으로 수정한 사실 대부분이 역방향 질문에서 회상되지 않으며(반면 문맥 내 학습을 활용하는 IKE 방식은 LLaMA-3 8B에서 51.78%의 역방향 회상 정확도를 달성했다).
이를 해결하기 위해 최근 연구들은 개체를 자기 자신으로 매핑하는 무정보 정규화 데이터인 항등 브리지(Identity Bridge)를 훈련에 추가해 역방향 과제를 문맥 외 추론(OCR)으로 변환함으로써 실제 사전학습 모델의 역전 통과율을 0% 부근에서 40%까지 끌어올렸으며(다만 이름이 긴 다중 토큰 개체는 정확도가 7%로 떨어지는 한계도 확인됨), 양방향 어텐션을 쓰는 디퓨전 LLM(DLLM)에 개체 분절·데이터 비대칭·관계 희소성을 보정하는 DiffER 전략을 결합해 양방향 연상을 회복하려는 시도도 이어지고 있다.
5 종합: 인지과학적 연상과 인공 신경망 연상의 수렴과 분기
최신 LLM 연구에서 심리학의 연상 개념은 모델의 기저 연산(현대 홉필드 네트워크로서의 어텐션, 키-값 메모리로서의 FFN)에서 출발해 초장문 맥락을 다루는 테스트 타임 학습(Gated DeltaNet, Titans)과 외부 장기 기억 그래프(HippoRAG, HeLa-Mem), 그리고 프롬프트 점화 및 편향·환각·비대칭 추론 진단(IAT, 부분 시퀀스 PMI, 역전 저주)에 이르기까지 LLM을 설계하고 해부하는 핵심 이론 프레임워크로 자리 잡았다.
특히 2024–2026년의 흐름은 인지심리학과 신경과학이 규명한 '놀라움' 기반 기억 공고화, '해마 인덱싱'의 다중 홉 확산 활성화, '오류 교정과 능동적 망각' 같은 고차원 메커니즘을 미분 가능한 손실 함수와 그래프 알고리즘으로 정교하게 구현하는 방향으로 수렴하고 있다.
동시에 이 융합 연구들은 인간 인지와 인공 신경망 연상이 분기하는 지점도 분명히 보여준다. LLM의 연상은 여전히 파라미터 중첩으로 인한 편집 간섭, 일화적 시공간 재구성이 결여된 통계적 결합, 자기회귀 방향성에 묶인 비대칭 인출, 그리고 정렬 학습 뒤에도 남아 의사결정을 왜곡하는 암묵적 고정관념이라는 구조적 한계를 안고 있다.
따라서 향후 차세대 LLM과 에이전트 설계의 핵심 과제는 단순히 더 많은 연상을 더 긴 문맥에 우겨넣는 데 그치지 않고, 인과적 관계 구조와 허위 상관 연상을 분리하며 양방향 추론과 안전한 망각·탈편향이 공존하는 연상 기억 아키텍처를 구축하는 데 있다.
역전 저주(Reversal Curse)를 돌파하는 항등 브리지와 양방향 디퓨전 트랜스포머의 통합.
표현 파쇄(Representation Shattering) 없는 영공간 사영과 SAE 기반 국소 특징 소거.
부분 시퀀스 PMI 기반 허위 상관을 극복하는 적응적 변인 교란(AdaR) 및 인과 추론 강화.
HippoRAG 2와 HeLa-Mem 헤브 증류를 잇는 평생 연속 학습(Continual Learning) 에이전트.