홈 > 인공지능(AI) > 심리학(Psychology) > 인지(Cognition) > 심층 연구 : 인간 인지 모방과 LLM 기술 체계
🔬 Deep Research · Cognitive Architecture · Dual-Process Reasoning · Metacognition · LLM Structural Limits

인간의 인지를 모방하는 LLM 기술 체계와 구조적 한계

전역 작업 공간(GWT), 다층적 기억 통합, 잠재 추론(System 2), 메타인지 자기 교정, 마음 이론(ToM) 및 뇌 표상 정렬의 기술적 도약과 2024~2026년 실증 연구가 규명한 내적 기제상의 한계

SPECIAL MONOGRAPH COGNITION & LLM
📑 빠른 목차 바로가기 (Quick Directory)
CHAPTER 01 · OVERVIEW

1. 총론: 인간 인지를 모방하는 LLM 6대 기술 체계와 구조적 한계

인간의 인지를 모방하는 대형 언어 모델(LLM) 기술은 단일 신경망의 규모 확장을 넘어 여섯 가지 핵심 기술 축으로 구현되고 있다.

기술 축 1

인지 아키텍처 & 전역 방송

고전 인지 아키텍처와 전역 작업 공간 이론(GWT)을 에이전트 구조 및 신경망 내부 활성화 병목으로 구현한 전역 방송 메커니즘.

기술 축 2

다층적 기억 시스템 & 가소성

작업·일화·의미·절차 기억을 OS식 가상 메모리, 시간·해마 지식 그래프, 수면 시간 연산(Sleep-time Compute), 테스트 타임 가중치 갱신으로 모사.

기술 축 3

숙고적 이중 과정 추론 (System 2)

직관적 토큰 생성(System 1) 위에 그래프 탐색(ToT/GoT), 과정 보상 모델(PRM), 규칙 기반 강화학습(GRPO), 연속 잠재 공간 사고(Coconut) 결합.

기술 축 4

메타인지 & 불확실성 기권

자신의 추론 오류를 감시·교정하는 반성(Reflexion) 루프와 의미 엔트로피 및 등각 예측 기반 기권(Abstention) 메커니즘.

기술 축 5

마음 이론(ToM) & 세계 모델

타인의 정신 상태를 추론하는 관점 취하기 프레임워크와 기호 연역·형식 검증기가 결합된 뉴로-심볼릭 세계 모델.

기술 축 6

인지 파운데이션 & 뇌 표상 정렬

대규모 인간 행동 데이터로 훈련한 인지 파운데이션 모델(Centaur)과 좌반구 언어 네트워크 fMRI 활성 정렬 기술.

이들 기술은 특정 과제에서 인간 전문가나 기존 인지 모델에 근접하거나 이를 상회하는 성과를 보였지만, 2024~2026년 발표된 실증 연구들은 외형적 모사와 내적 인지 기제 사이의 분명한 간극을 지적한다. 예컨대 2026년 학술 추론 모방 평가 프리프린트에서 GPT-5.1과 Gemini-2.5 등 최신 모델은 인간 평가자 기준 최소 89%의 사례가 행동 수준 모방(B 또는 C 등급)으로 분류되었을 뿐, 분포 외 맥락에서 메타 수준 인지를 추출해 내면화하는 인지적 내면화(cognitive internalization)에는 이르지 못했다. 아울러 표면적 언어 단서에 편승하는 '영리한 한스(Clever Hans)' 휴리스틱, 영역별 편차가 극심한 '서번트형 지능(savant-like intelligence)', 감각·신체 경험이 결여된 기호 접지(symbol grounding) 문제, 그리고 약 20 W로 작동하는 생물학적 뇌와 메가와트(MW)급 데이터센터 간 근본적 에너지·연산 격차가 현재 모방 기술의 구조적 경계를 이룬다.

SYNTHESIS TABLE 01

2. [표 1] 인지 영역별 인간 인지의 원리 vs 주요 LLM 모방 기술 vs 핵심 한계

인지 영역 인간 인지의 원리 주요 LLM 모방 기술 및 대표 연구 핵심 한계 및 검증 상의 유보
인지 아키텍처와 의식적 방송 작업 공간 병목에 선택된 정보를 다수 하위 모듈에 전역 방송 CoALA 프레임워크, Consciousness Prior, CTM, Anthropic J-space 및 J-lens 현상적 의식이 아닌 접근 의식에 국한; 억제 지시 시 백곰 효과 발생; 단일 토큰 탐지 제약
기억 계층과 기억 통합 작업·일화·의미·절차 기억 분리 및 수면 중 기억 공고화 MemGPT/Letta, H2O/StreamingLLM, HippoRAG, Zep/Mem0/Memora, Sleep-time Compute, Titans 순차적 가중치 편집(MEMIT) 시 약 1,400회 후 파괴적 망각; 메모리 벤치마크(LoCoMo 등) 재현 편차 존재
이중 과정 및 잠재 추론 빠른 직관(System 1)과 느린 계획·검증(System 2), 비언어적 숙고 ToT/GoT, PRM, Compute-Optimal Scaling, DeepSeek-R1(GRPO), Coconut 고난도·고부하 조건에서는 사전학습 확장이 여전히 우위; 추론 모델의 일반 작업·언어 혼합 취약성
메타인지와 자기 통제 오류 감시, 지식 한계 인식, 외부 도구로의 인지 부하 분산 Reflexion/Meta-Reflexion, Semantic Entropy, Conformal Abstention, ReAct/Toolformer 외부 검증자 없는 내재적 자기 교정은 답변 흔들림·인지 편향으로 정확도 저하 빈번; RLHF 기반 과신 및 메타기억(JOL) 실패
사회적·인과적 세계 모델 타인 믿음·의도 추적, 개입·반사실 추론, 물리적 상태 시뮬레이션 SimToM, PercepToM, ToMA, RSA, AlphaProof/AlphaGeometry 2, JEPA 장기 상호작용 ToM은 인간 대비 54.2% 저조; 인과 벤치마크 오염·단서 학습 논란; 게임 트랙 세계 모델 구조 F1 0.366에 그침
행동·신경 표상 정렬 실험적 의사결정 패턴 및 좌반구 언어 뇌영역 활성 반응 Centaur (Psych-101 미세조정), 표상 곡률 평탄화 분석, fMRI 뇌-유도 스티어링 WEIRD 표본 편향 및 소형 모델 분포 외 약화; 선형 표상 예측력이 곧 동일 계산 메커니즘을 뜻하지 않음
CHAPTER 02 · ARCHITECTURE & GWT

3. 인지 아키텍처와 전역 작업 공간의 구현

인간 인지 시스템의 거시적 구조를 소프트웨어 설계로 옮기려는 시도는 고전 인지 아키텍처를 LLM 에이전트 프레임워크로 재정립하면서 체계화되었다. Sumers 등(2023)이 제안한 CoALA(Cognitive Architectures for Language Agents)는 LLM을 단순한 텍스트 생성기가 아니라 작업 기억과 모듈화된 장기 기억(일화·의미·절차 기억)을 갖추고, 내부 기억 조작과 외부 환경 행동을 아우르는 구조화된 행동 공간 위에서 의사결정 루프를 실행하는 언어 에이전트로 개념화했다.

Zylos Research의 2026년 3월 기술 분석과 고전 인지 아키텍처 문헌에 따르면, 20세기 인지과학의 대표 모델들은 현대 LLM 에이전트의 설계 패턴 및 실패 양상과 밀접하게 대응한다.

이론 신경망 연구에서는 Yoshua Bengio(2017/2019 프리프린트)가 의식 사전(Consciousness Prior)을 제안해, 어텐션으로 선택되어 전역 방송되는 소수 고수준 개념 변수들의 희소 인자 그래프(sparse factor graph)가 인간의 언어적 보고와 조합적 일반화(systematic generalization)의 핵심이라고 설명했다. 또한 Manuel Blum과 Lenore Blum(PNAS 2022, 2026년 5월 Simons 연구소 강연)은 단기기억(STM), 방대한 무의식 프로세서 집합(LTM), 확률적 경쟁용 상향 이진 트리(Up-Tree), 전역 방송용 하향 트리(Down-Tree), 프로세서 간 무의식 연결(Links), 입출력(Input/Output)으로 구성된 7-튜플 형식 모델 Conscious Turing Machine(CTM)과 멀티모달 내부 언어 'Brainish'를 통해 전역 작업 공간 기반 의식의 계산 모델을 정식화했다.

🔬 Anthropic의 실증 연구 : Jacobian Lens(J-lens)와 J-space의 자발적 출현 (2026년 7월)

이러한 이론적 작업 공간 구조가 실제 상용 LLM 내부에 자발적으로 출현한다는 실증적 단서는 2026년 7월 Anthropic의 자체 연구 보고를 통해 제시되었다. 연구진은 미래에 특정 단어를 발화할 가능성을 높이는 내부 신경 활성화 패턴을 어휘 전체에서 역산하는 해석 기법 Jacobian Lens(J-lens)를 개발해, 연구자의 명시적 설계 없이 학습 과정에서 자연스럽게 형성된 특권적 표상 영역 J-space를 식별했다.

텍스트로 출력되는 스크래치패드와 달리 내부 신경 활성화 수준에서 조용히 작동하는 J-space는 Claude 전체 내부 활동의 10% 미만만 차지하고 동시에 수십 개(few dozen)의 개념만 담지만, 네트워크 내 다른 구성요소들과 맺는 연결 밀도는 일반 내부 패턴 대비 최대 약 100배에 달하는 중앙 방송 허브 역할을 수행했다.

인과적 개입 실험에서도 J-space의 기능적 역할이 확인되었다. J-space에서 "Soccer" 패턴을 "Rugby"로 교체하면 모델이 자신의 숨은 생각을 다르게 보고했으며, "France"를 "China"로 치환하면 수도(Paris → Beijing), 언어(French → Chinese), 대륙(Europe → Asia) 응답이 일제히 바뀌었다. 또한 관련 없는 문장을 베껴 쓰면서 암산(3² - 2 → 9 → 7)을 은밀히 수행하도록 지시하면 J-space에 중간값들이 순차적으로 점등되었다. 반대로 J-space 활성을 완전히 제거하자 유창한 문법 구사나 단순 사실 회상 같은 자동적 처리는 유지된 반면 다단계 추론 성능은 거의 0으로 급락했다. 다만 Anthropic은 이 결과가 주관적 느낌인 현상적 의식(phenomenal consciousness)이 아니라 정보를 보고·추론·행동에 활용하는 기능적 접근 의식(access consciousness)에 해당함을 분명히 했으며, 특정 개념을 생각하지 말라고 지시하면 오히려 J-space가 켜지고 "damn", "failure" 같은 단어가 동반 점등되는 백곰 효과(White Bear Effect)와 J-lens가 현재 단일 토큰 개념만 포착하는 기술적 한계도 함께 보고했다.

CHAPTER 03 · MEMORY & PLASTICITY

4. 다층적 기억 시스템, 기억 통합과 실시간 테스트 타임 학습

생물학적 기억은 단기 작업 기억과 서술(일화·의미)·절차 기억으로 계층화되어 회상 시마다 재구성되는 반면, 전통적인 LLM은 사전학습 가중치에 지식이 확산 고정되어 있어 개별 경험을 저장·수정하거나 지속 학습하기 어렵다. 이를 극복하기 위해 작업 기억의 가상 메모리 관리부터 해마 색인 기반 그래프, 수면 시간 연산, 테스트 시점 가중치 가소성에 이르는 다양한 기억 기술이 개발되었다.

[표 2] 인간 기억 원리를 모방하는 LLM 메모리 및 가소성 기술 비교표

메모리/학습 기술 모방하는 인간 기억 원리 핵심 메커니즘 및 작동 단위 주요 강점 및 보고된 성과 알려진 한계 및 트레이드오프
MemGPT / Letta 작업 기억과 장기 저장소 간 능동적 전환 컨텍스트 윈도우를 RAM으로 취급하고 에이전트가 함수 호출로 메모리 블록·외부 저장소 간 페이징 수행 에이전트 주도의 지속적 상태 유지 및 사실상 무제한 문맥 확장 에이전트 자체의 도구 호출 판단 품질과 턴 지연에 의존
H2O / StreamingLLM 작업 기억의 선택적 주의 및 정보 망각 어텐션 점수 기여가 큰 핵심 토큰(Heavy Hitters)·초기 sink 토큰과 최신 토큰만 KV 캐시에 유지 vLLM GitHub 이슈 인용 요약 기준 20% H2 축소 시 처리량 29배·지연 1.9배 개선 언급 불필요하다고 판정된 KV 캐시 제거 시 장기 문맥 정확도 저하 우려
HippoRAG / HippoRAG 2 해마 기억 색인과 신피질 연상 네트워크 LLM으로 추출한 지식 그래프 위에서 개인화 페이지랭크(PPR) 기반 연상 경로 탐색 단순 벡터 검색을 넘어 다단계 사실·연상 기억 및 비모수 지속 학습 성능 향상 초기 지식 그래프 구축 및 구조 유지 비용 발생
Mem0 일화 기억의 사실 추출 및 의미 기억 승격 턴마다 원자적 사실을 추출해 ADD·UPDATE·DELETE·NOOP으로 기존 기억과 충돌 조정 사용자 개인화에 최적화, 중복 억제 및 일관된 현재 상태 유지 상충 정보 발생 시 과거 사실을 덮어써 시점별 이력 감사(audit) 불가(Cognee 비교 분석)
Zep (Graphiti) 시간 축을 포함한 자서전적·일화 기억 개체 간 관계 엣지에 사실의 유효 시작·만료 시점을 기록하는 시간 지식 그래프 과거 시점 기준 사실 복원 가능, 논문 리뷰 블로그 기준 DMR 94.8% 기록 평가 주체·기저 모델에 따라 LoCoMo 점수가 58.4~94.7점으로 편차 큼
Memora 구체적 사건 보존과 단서(Cue) 기반 연상 인출 원문 저장 층위와 프라이머리 추상화·큐 앵커(cue anchor) 색인 층위의 분리 요약 손실이나 단편화 없이 고수준 스캔과 세밀한 조회 동시 달성(ICML 2026 발표 소개) 정책 기반 검색의 순차 LLM 호출 지연 및 판단자 편향 전이 위험
Sleep-time Compute 수면 중 해마-신피질 간 오프라인 기억 공고화 사용자 유휴 시간에 원시 컨텍스트를 사전 추론해 '학습된 컨텍스트'로 재조직 테스트 타임 연산 약 5배 절감, 정확도 13~18% 추가 향상, 다중 질의 비용 2.5배 절감 질의가 문맥에서 예측 가능할 때 유리; SWE 고예산 구간에선 테스트 타임 스케일링에 열위
Titans / MIRAS 예상 밖의(놀라운) 사건에 대한 장기 기억 강화 연관 메모리 손실 기울기를 '놀라움 지표'로 삼아 테스트 시 신경 메모리 가중치 갱신·감쇠 단기 어텐션·장기 신경 메모리·영속 기억 결합으로 200만 토큰 이상 문맥 확장 보고 순차적 직접 가중치 편집(MEMIT)은 약 1,400회 후 망각 문제; 아키텍처 전환 필요

작업 기억 제어 측면에서는 OS의 가상 메모리 페이징에서 영감을 얻은 MemGPT(이후 Letta 프레임워크로 발전)가 제한된 컨텍스트 윈도우를 주 메모리(RAM)처럼 운용하며, 에이전트가 스스로 함수 호출을 통해 핵심 메모리 블록과 외부 아카이브를 편집·교체하도록 했다. 추론 엔진 하부에서는 어텐션 점수에 압도적으로 기여하는 소수 토큰(Heavy Hitters)과 최근 토큰만 보존하는 H2O, 그리고 문맥 초기 토큰을 어텐션 싱크(attention sinks)로 고정해 무한 스트림 생성을 유지하는 StreamingLLM이 인간 작업 기억의 선택적 주의와 망각을 시스템 계층에서 구현한다.

장기 일화·의미 기억 영역에서는 뇌의 해마 색인 이론에 기반한 HippoRAG(Gutiérrez et al., 2024)와 HippoRAG 2가 대표적이다. HippoRAG는 기억을 고립된 벡터 조각으로 두지 않고 개체 간 지식 그래프로 연결한 뒤 개인화 페이지랭크(PPR)로 연상 경로를 탐색해 다단계 추론과 비모수 지속 학습 성능을 개선했다. 실무 에이전트 메모리 계층에서는 기억의 시간성과 갱신 방식이 분화하고 있다. Mem0는 대화마다 추출한 원자적 사실을 기존 기억과 대조해 충돌 시 덮어쓰는 현재 상태 중심 전략을 취해 개인화에 강점을 보이나, 경쟁 프레임워크인 Cognee의 2026년 비교 분석이 지적하듯 과거 사실이 덮어쓰여 시점별 이력 감사가 어렵다. 반면 Zep(오픈소스 엔진 Graphiti)은 각 관계 엣지에 유효 시작·만료 시점을 기록하는 시간 지식 그래프를 유지해 특정 날짜 기준 사실 조회를 지원한다. 또한 Microsoft Research가 ICML 2026에 발표한 Memora는(PyTorch KR 커뮤니티 소개 요약 기준) 원문 데이터를 손실 없이 두는 저장 층위와 프라이머리 추상화·다중 관점 태그(큐 앵커)로 구성된 얇은 색인 층위를 분리함으로써, 원문 RAG의 잡음 문제와 요약 메모리의 세부 수치 손실 딜레마를 동시에 피하려 했다. 다만 메모리 벤치마크의 재현성에는 주의가 필요한데, The Agent Field Guide의 조사(2026)에 따르면 LoCoMo 벤치마크에서 Zep의 점수가 실행 주체와 기저 LLM에 따라 58.4점(Mem0 재현)에서 75.1점(Zep 2025), 94.7점(gpt-5.4 기반 2026)까지 36점 폭으로 달랐으며, EverMemOS 역시 93.05점 보고 대비 공개 재현 시 38~52점에 머무른 바 있다.

시간 차원의 오프라인 기억 통합을 모사한 기술이 Lin 등(Letta, 2025 프리프린트)의 수면 시간 연산(Sleep-time Compute)이다. 에이전트가 사용자 입력을 기다리는 유휴 시간에 코드베이스나 이전 대화 같은 기존 컨텍스트를 미리 추론·재조직해 '학습된 컨텍스트(learned context)'로 변환해 두면, 실제 질의 시점의 연산 부하를 대폭 줄일 수 있다. Stateful GSM-Symbolic 및 Stateful AIME 실험에서 수면 시간 연산은 동일 정확도 달성에 필요한 테스트 타임 연산을 약 5배 줄이고 수면 연산 규모를 늘릴 때 정확도를 각각 13%, 18% 끌어올렸으며, 동일 문맥에 여러 질문이 이어지는 환경에서는 질의당 평균 비용을 2.5배 절감했다. 다만 소프트웨어 엔지니어링(SWE-Features) 사례 연구에서는 낮은 테스트 예산 구간에서는 우위를 보인 반면, 고예산 구간에서는 표준 테스트 타임 스케일링보다 정밀도가 소폭 낮아지는 한계도 함께 관측되었다. 절차 기억 측면에서는 Voyager처럼 환경 실행 피드백을 거쳐 검증된 행동 코드를 스킬 라이브러리(skill library)로 축적·재활용하는 방식이 쓰인다.

외부 저장소를 넘어 신경망 파라미터 자체에 실시간 기억 가소성을 부여한 연구가 Google Research의 Titans(NeurIPS 2025)와 후속 MIRAS 모델군이다. 인간의 뇌가 예상과 어긋나는 '놀라운 사건'을 더 오래 각인한다는 원리를 차용해, Titans는 단기 기억용 어텐션(Core), 고정 태스크 지식을 담는 영속 기억(Persistent Memory), 그리고 추론 중 파라미터를 갱신하는 신경 장기 기억(Long-term Memory)을 결합했다. 이 신경 기억 모듈은 과거 입력의 키-값 쌍을 연상 저장하는 평균제곱오차(MSE) 손실을 최소화하도록 학습하며, 새 입력에 대한 손실 기울기의 크기를 놀라움 지표(Surprise Metric)로 삼아 직전 맥락의 '과거 놀라움'(모멘텀)과 현재의 '순간 놀라움'을 반영해 가중치를 업데이트하고, 데이터 의존적 망각 게이트(가중치 감쇠)로 불필요한 정보를 지운다. 이러한 구조는 기존 가중치 직접 편집 기법인 순차적 MEMIT이 약 1,400회 편집 이후 파괴적 망각에 진입하는 한계를 돌파하려는 접근이나, 2026년 ICLR MemAgents 워크숍 등에서 지적하듯 생물학적 수준의 해마-신피질 통합과 매 갱신 후 기존 역량 퇴행을 점검하는 연속적 역방향 전이 평가는 여전히 해결해야 할 과제다.

CHAPTER 04 · DUAL-PROCESS REASONING

5. 이중 과정 추론, 테스트 타임 연산 및 잠재 공간 사고

입력 프롬프트를 단일 순전파로 즉시 다음 토큰으로 사상하는 표준 LLM 추론은 Daniel Kahneman의 인지심리학 구분 중 빠르고 자동적인 System 1에 해당한다. 반면 인간이 복잡한 수학·논리·계획 문제를 풀 때 동원하는 느리고 숙고적인 System 2를 구현하기 위해, 사고 구조화, 중간 검증, 강화학습 기반 자기 탐색, 그리고 비언어적 잠재 추론 기술이 발전해 왔다.

프롬프트 수준의 구조화에서는 선형적 CoT(사고 연쇄)를 다중 분기 탐색과 가지치기로 확장한 Tree of Thoughts(ToT)에 이어, Besta 등(2024)의 Graph of Thoughts(GoT)가 중간 사고 단위를 그래프 정점으로 다루며 생성·정제뿐 아니라 여러 분기의 부분 해답을 합치는 집계(aggregation)와 역추적을 도입했다. 논문 리뷰 분석에 따르면 GoT는 분해 후 병합이 가능한 숫자 정렬 과제(GPT-3.5 중심 평가)에서 ToT 대비 품질을 약 62% 높이고 비용을 31% 이상 절감했으나, 그래프 실행 계획(GoO)을 인간이 설계해야 하고 중간 사고 평가 함수가 부실하면 이득이 급감하며 최신 대형 모델에서의 일반화는 추가 검증이 필요하다는 한계가 있다. 다중 경로 탐색의 정확도를 높이기 위해 Lightman 등(OpenAI, 2023)은 최종 정답만 평가하는 결과 보상 대신 모든 중간 풀이 단계의 타당성을 채점하는 과정 보상 모델(Process Reward Model, PRM)과 80만 단계 레이블 데이터셋(PRM800K)을 구축했다.

이러한 테스트 타임 사고의 경제성과 확장 법칙을 체계화한 것이 Snell 등(2024 프리프린트)의 '연산 최적(compute-optimal)' 배분 연구다. 연구진은 입력 질의의 난이도에 따라 순차적 자기 수정(sequential revision)과 PRM 기반 트리 탐색의 비중을 동적으로 조절하는 전략이 단순 병렬 best-of-N 샘플링보다 약 4배 적은 연산으로 더 높은 성능을 달성함을 보였다. 또한 MATH 데이터셋의 동일 FLOPs 조건에서, 소형 모델이 기본적인 해결 가능성을 갖춘 비교적 쉬운 문제와 낮은 추론 부하 조건에서는 테스트 타임 연산 확장이 14배 더 큰 모델의 사전학습 효과를 능가할 수 있었다. 반대로 모델이 기초 역량조차 갖추지 못한 극고난도 문제나 추론 트래픽이 매우 높은 환경에서는 사전학습 규모를 키우는 편이 여전히 우월했다.

⚡ DeepSeek-R1의 자발적 사고 창발과 규칙 기반 강화학습(GRPO)

인간의 모범 답안 모방 학습(SFT) 없이 강화학습만으로 숙고적 사고가 창발할 수 있음을 보인 대표 사례가 DeepSeek-R1(2025)이다. 연구진은 신경망 보상 모델이 빠지기 쉬운 보상 해킹(reward hacking)을 피하기 위해 수학 정답 일치·코드 컴파일 테스트 통과 여부를 확인하는 객관적 규칙 기반 정확성 보상과 사고 구획·최종 답변 구획 구분을 요구하는 형식 보상(Format reward)을 설계하고, 별도 가치(critic) 모델 없이 그룹 내 응답들의 상대적 점수로 정책을 갱신하는 GRPO(Group Relative Policy Optimization)를 적용했다. 순수 강화학습만 거친 DeepSeek-R1-Zero는 AIME 2024 pass@1 점수가 15.6%에서 71.0%(다수결 투표 86.7%)로 급등했으며, 학습 도중 스스로 초기 가정을 재평가하고 더 긴 사고 시간을 할당하는 '아하 모먼트(aha moment)'와 자기검증 행동이 자발적으로 발현되었다. 가독성과 언어 혼합 문제를 교정하기 위해 소량의 cold-start SFT와 4단계 파이프라인을 결합한 DeepSeek-R1은 1.5B~70B급 오픈소스 모델로 추론 패턴을 지식 증류할 수 있었으며(특히 Qwen2.5-32B에서 직접 RL보다 증류가 우수), 동시에 함수 호출·멀티턴 대화·JSON 출력 등 일반 작업 성능 저하, 비영어권 언어 혼합, few-shot 프롬프트에 대한 성능 하락이라는 한계도 함께 보고되었다.

한편 인간의 사고가 항상 내면의 문장 독백으로만 이루어지지 않고 직관적 개념 공간에서 동시에 여러 가설을 저울질한다는 점에 착안한 기술이 Coconut(Chain of Continuous Thought)(arXiv:2412.06769, COLM 2025 채택)이다. 표준 CoT는 매 추론 단계마다 이산적 언어 토큰으로 디코딩했다가 다시 임베딩해야 하는 언어 병목을 겪지만, Coconut은 트랜스포머의 마지막 은닉 상태(hidden state)를 토큰 변환 없이 다음 단계의 입력 임베딩으로 직접 되먹임해 연속 잠재 공간에서 추론을 이어간다. 그 결과 모델은 하나의 경로를 성급히 선택하지 않고 여러 대안 경로를 잠재 표현에 중첩 유지하는 암묵적 너비 우선 탐색(implicit BFS) 능력을 보이며, 사전학습된 GPT-2 및 합성 데이터셋 기반 평가에서 방대한 역추적이 필요한 논리·계획 과제일수록 기존 CoT보다 적은 추론 토큰으로 더 높은 정확도를 기록했다.

CHAPTER 05 · METACOGNITION & UNCERTAINTY

6. 메타인지, 자기 교정과 불확실성 통제

인간은 자신의 추론 오류를 감시하고, 모르는 것을 모른다고 판단하며, 필요할 때 외부 도구에 인지 부담을 위임하는 메타인지(metacognition)를 수행한다. LLM에서도 자기 교정 루프, 불확실성 정량화, 도구 사용으로 이 기능을 모방하려는 연구가 활발하다.

초기 반복 교정 기법인 Self-Refine(Madaan et al., 2023)과 Reflexion(Shinn et al., 2023)은 모델이 생성한 출력에 대해 스스로 피드백을 생성하고 답변을 반복 수정함으로써 코딩과 수학 추론 정확도를 개선했다. 최근에는 단일 오류 가설에만 매몰되는 문제를 완화하기 위해 여러 오류 원인을 발산적으로 탐색한 뒤 수렴적으로 수정안을 도출하는 Meta-Reflexion 같은 이중 역할 구조도 제시되었다.

그러나 테스트 실행기나 컴파일러 같은 외부 오라클 없이 모델 내재 역량만으로 답을 고치는 내재적 자기 교정(intrinsic self-correction)은 신뢰성이 크게 떨어진다. Huang 등(2023/2024)과 2024년 후속 해석 연구(arXiv:2412.14959v1)가 밝힌 바에 따르면, 최첨단 LLM조차 재검토 과정에서 초기 정답을 오답으로 뒤집는 답변 흔들림(answer wavering)으로 전체 정확도가 하락하는 사례가 잦았다. 그 원인은 지식 결핍이라기보다 "문제를 찾으라"는 식의 편향된 수정 프롬프트와 비영(non-zero) 온도 샘플링이 응답 변경을 부추기는 구조적 요인, 그리고 복잡한 과제에서 행동 없이 생각만 반복하는 과잉 사고(overthinking), 긴 맥락에서 명령 구문을 망각하는 인지 과부하(cognitive overload), 불필요하게 응답을 바꾸려는 완벽주의 편향 등 인간의 인지 편향과 유사한 실패 패턴에 있었다. 온도 값을 0으로 설정하고 중립적 프롬프트를 쓰거나 질문 반복 및 SFT를 적용하면 교정 실패를 상당 부분 줄일 수 있으나, 2026년 LLM 메타인지 서베이(arXiv:2607.11881v1)는 일부 상용 모델이 특정 측정에서 인간과 유사하거나 높은 메타인지 민감도를 보이기도 하는 반면, 전반적으로는 RLHF 후학습과 실패 사례 부족으로 인한 과신(overconfidence), 토론·다중 턴 상황에서의 확신 에스컬레이션, 향후 기억 수행을 예측하는 학습 판단(Judgments of Learning, JOL) 같은 메타기억 과제 실패(단, 최신·비GPT 모델 일반화는 추가 검증 필요), 그리고 긴 추론 트레이스나 증류가 메타인지 민감도를 도리어 해칠 수 있는 복합적 한계를 지적한다.

내성적 자기 평가의 불완전함을 보완하는 통계적 접근이 불확실성 정량화와 기권(Abstention)이다. Farquhar 등(2024)이 제안한 의미 엔트로피(Semantic Entropy)는 동일 질문에 여러 답변을 샘플링한 뒤 표면 어휘가 아니라 상호 함의 여부에 따른 의미적 동치군으로 묶어 엔트로피를 계산함으로써 환각(confabulation)을 탐지한다. 30개 모델×과제 조합에서 평균 AUROC 0.79를 달성했으며(다만 2025년 후속 평가들에서는 의료 QA에서 GPT-4가 0.79 상한을 보이고, 희귀 인물 전기 같은 꼬리 지식에서는 GPT-4o-mini가 0.68~0.72에 머무르는 한계도 보고되었다). 또한 의료용 MedAbstain 같은 고위험 도메인 프레임워크는 등각 예측(Conformal Prediction)을 결합해 사전에 설정한 오류 허용 한계 내에서 모델의 불확실성이 기준을 넘으면 답변을 유보하고 기권하도록 통계적 보증을 제공한다.

⚠️ 인지적 외주화(Cognitive Offloading)와 인간 탈숙련화 역작용

더 나아가 ReAct와 Toolformer 같은 도구 호출 기술은 인간이 암산 대신 계산기나 메모장을 활용하는 인지적 외주화(cognitive offloading)를 모델에 이식한 사례다. 반면 2026년 인간-AI 상호작용 연구들은 이 과정이 인간 쪽에서 역작용을 일으킬 수 있음을 경고한다. MIT 경제학부 워킹페이퍼(2026년 2월)는 고객 지원 현장에서 AI가 배경 정보를 제공해 생산성을 도운 사례(Brynjolfsson et al., 2025)와 대조적으로, 글쓰기와 사고를 ChatGPT 등 LLM에 과도하게 외주화할 경우 사용자의 기억 정확도와 창의성이 저하되고 뇌 신경 연결성이 변화한다는 연구(Kosmyna et al., 2025; Gerlich, 2025)를 종합했다. 이를 막기 위해 최신 HCI 연구에서는 모델이 정답을 대신 내놓기 전에 사용자에게 메타인지적 피드백을 제공해 인지적 외주화와 탈숙련화(deskilling)를 완화하는 인터페이스 기법을 모색하고 있다.

CHAPTER 06 · THEORY OF MIND & WORLD MODELS

7. 사회적·인과적 인지와 뉴로-심볼릭 세계 모델

타인의 마음을 읽는 마음 이론(Theory of Mind, ToM)과 인과적 개입·반사실을 계산하는 인과 추론(Causal Reasoning), 그리고 물리·사회적 상태 전이를 시뮬레이션하는 세계 모델(World Model)은 인간 지능이 단순 언어 유창성과 갈리는 핵심 역량이다.

마음 이론 모방에서 SimToM(Wilf et al., ACL 2024)은 인지과학의 시뮬레이션 이론을 2단계 프롬프팅으로 구현했다. 기존 LLM이 샐리-앤(Sally-Anne) 유형의 허위 믿음 과제에서 흔히 오답을 내는 이유는, 모델이 '이야기 전체의 객관적 사실'과 '특정 인물이 실제로 목격한 제한적 정보'를 한 번의 추론 패스에서 뒤섞기 때문이다. SimToM은 1단계에서 해당 인물이 인지한 사건만 추출하는 관점 취하기(perspective-taking)를 먼저 수행한 뒤, 2단계에서 그 걸러진 문맥만을 입력으로 질의에 답하도록 분리해 BigTOM과 ToMI 벤치마크 성능을 크게 끌어올렸다. 이를 확장한 PercepToM(Jung et al., 2024)은 문장 단위 지각자(perceiver)를 식별하는 3단계 구조를 도입했고, ToMA(2025 프리프린트)는 다중 턴 대화 시뮬레이션을 통해 대화 이력 H로부터 상대의 잠재 정신 상태 m을 추론하는 P(m | H)와 전략적 발화 생성 P(u | m, H)를 함께 최적화한다. 화용론적 의사소통에서는 화자·청자의 의도를 재귀적으로 추론하는 합리적 화행(Rational Speech Act, RSA) 모델과 명시적 믿음-욕구-의도(BDI) 상태를 추적하는 다중 에이전트 설계가 활용된다.

그러나 LLM의 ToM 능력을 둘러싼 학술 논쟁은 여전히 뜨겁다. Michal Kosinski(2023/2024)가 11개 LLM에 40개 허위 믿음 과제를 적용해 GPT-4가 75%(6세 아동 수준)를 풀어내며 ToM이 언어 능력 향상에 따라 자발적으로 창발했을 가능성을 제기하자, 2차 문헌들이 요약하듯 Tomer Ullman(2023)은 믿음 구조는 그대로 둔 채 텍스트 속 사소한 속성만 바꾸어도 모델이 급격히 실패함을 보였고, Shapira 등(2024)은 적대적 균형 시나리오에서 성능이 무너지는 '영리한 한스(Clever Hans)' 휴리스틱 의존을 지적했다. 고차원 ToM에서도 SimToM은 여전히 제약을 보이며, 10종의 최신 LLM을 연계 상호작용에서 평가한 선행 연구 요약에서는 평균 성능이 인간 대비 54.2% 낮았다. 최근에는 Llama-3.1-70B와 Qwen2.5-72B의 후반부 레이어에서 관점 투영에 부합하는 내부 표상이 형성됨을 규명하거나, 물리적 상태와 거짓 믿음·사적 의도·감정·사회적 규범을 결합한 공동 상태를 추적하고 전이 시뮬레이션 병목을 해결하려는 정신 세계 모델(MWM) 연구가 진행 중이다.

인과 추론 분야에서는 Judea Pearl의 인과 사다리(Ladder of Causation)—1단계 연합(Seeing), 2단계 개입(Doing), 3단계 반사실(Imagining)—기준으로 평가할 때 LLM의 한계가 선명히 드러난다. Jin 등(2023)이 1만여 개 표본으로 구축한 CLadder 등 주요 벤치마크를 종합한 Acalytica Research(2025) 분석에 따르면, 모델 크기 증가는 1단계 연관 과제에는 뚜렷한 도움을 주지만 2단계 개입(~52% 부분 성공)과 3단계 분포 외 반사실 추론으로 갈수록 효과가 급감한다. 더욱이 2026년 10월 발표된 감사 연구(arXiv:2610.38100)는 CLadder 데이터 생성 과정 자체가 정답을 예측할 수 있는 표면적 텍스트 패턴을 내포하고 공개 저장소를 통해 학습 코퍼스에 오염되었을 가능성이 높으며, 인과 추론에 필수적인 정보를 지워도 성능이 크게 떨어지지 않는 반면 부수적 토큰을 제거하면 답변이 급변한다는 사실을 밝혀내 기존 벤치마크 고득점이 지름길 학습(shortcut learning)일 수 있음을 경고했다.

🏆 뉴로-심볼릭 결합의 개가 : Google DeepMind AlphaProof와 AlphaGeometry 2

순수 언어 모델의 구조적 불완전성을 보완하는 유력한 해법이 세계 모델(World Models)과 뉴로-심볼릭(Neuro-Symbolic) 결합이다. RAP처럼 LLM 자체를 추론 에이전트 겸 상태 전이 세계 모델로 삼아 몬테카를로 트리 탐색(MCTS)을 수행하는 방법이 시도되었으나, 2026년 뉴로-심볼릭 세계 모델 평가 연구(arXiv:2611.14419v1)에서는 LLM이 생성한 세계 모델이 문법·실행 유효성 검사(게임 트랙 135건 중 134건 통과)는 통과하더라도 정답 구조와의 일치도(게임 트랙 평균 F1 0.366, 중앙값 0.178, 완전 일치 28건; 개방형 상황·문화 트랙 평균 F1 각각 0.432, 0.553)가 낮고 불필요한 상태나 전이를 자의적으로 추가하거나 기대 구조를 누락하는 약점이 확인되었다.

반면 신경망의 직관적 가설 생성과 형식 검증기의 엄밀한 연역을 분리·결합한 시스템은 획기적인 성과를 거두었다. Google DeepMind의 AlphaProof(2025년 11월 Nature 방법론 게재)와 AlphaGeometry 2는 자연어 수학 문제를 Lean 형식 언어로 번역하는 Gemini 기반 파서·전략가와 Lean 증명 커널·기호 연역 엔진을 AlphaZero 강화학습 루프로 결합해, 2024년 국제수학올림피아드(IMO)에서 42점 만점 중 28점(금메달 기준 29점에 1점 차 은메달 상위권)을 기록하며 환각 없는 기계 검증 증명을 구현했다. 2025년 유클리드 기하학 연구(arXiv:2505.14479v7)에서도 유사 문제 증명 유추와 기호 검증 피드백을 결합해 50개 평가 문제에서 o1 대비 58%~70%, Gemini-2.5-Flash 대비 52%~64%의 증명 정확도 향상을 보고했다.

이와 병행해 Yann LeCun 등은 다음 토큰을 자기회귀적으로 예측하는 LLM 구조 자체로는 물리적 현실 세계의 추상 원리를 학습하는 데 근본적 한계가 있다고 비판하며, 픽셀·단어를 생성하는 대신 추상 표상 공간에서 행동 조건부 미래와 결측 정보를 예측하는 JEPA 및 V-JEPA 2 세계 모델 아키텍처를 발전시키고 있다. AI타임스(2026)에 보도된 비교 연구에 따르면, 같은 현실 장면에 대한 서로 다른 관찰을 연결하는 JEPA 방식은 기존 다음 토큰 예측 방식보다 42배 적은 학습 샘플로 동일한 수준의 표상 유사성에 도달했다.

CHAPTER 07 · BRAIN ALIGNMENT & LIMITS

8. 인지 파운데이션 모델, 뇌 표상 정렬과 생물학적 지능과의 간극

LLM이 인간 인지의 보편적 계산 원리를 포착할 수 있는지 검증하고 이를 모델 개선에 직접 투입하려는 시도는 인지 파운데이션 모델과 뇌 표상 정렬(Brain–LLM Alignment) 연구로 이어지고 있다.

대표적 이정표인 Centaur(Binz et al., Nature 2025)는 인간 행동 데이터를 대규모로 학습시켜 범용 인지 예측 모델을 구축한 사례다. 연구진은 4비트로 동결된 Llama 3.1 70B 모델에 전체 가중치의 약 0.15%에 해당하는 랭크-8 QLoRA 어댑터를 붙여, 160개 인지심리학 실험에서 60,092명이 수행한 10,681,650건의 선택 데이터를 모은 Psych-101 데이터셋으로 1에폭 미세조정했다. Centaur는 평가에서 제외된 참가자와 새로운 과제 변형에서도 기존 14개 도메인 특화 인지 모델을 모두 능가하는 예측력을 달성했고, 2단계 강화학습 과제에서 인간이 보이는 model-free와 model-based 전략의 혼합 분포를 자연스럽게 재현했으며, 뇌 영상 데이터로 학습하지 않았음에도 문장 읽기 과제의 인간 fMRI 신경 활동 예측력까지 향상되었다. 다만 학습 데이터의 WEIRD(서구·고학력 등) 표본 편향과 학습·의사결정 과제 편중, 그리고 8B 소형 모델(Minitaur)의 분포 외 일반화 약화는 해결 과제로 남았다.

신경과학과의 직접적인 교차점인 뇌-LLM 정렬 연구에서는 LLM 내부 층의 활성화가 좌반구 언어 네트워크(IFGorb, IFG, MFG, AntTemp, PostTemp 등 5개 관심 영역)의 fMRI 혈류 반응과 독서 시간·N400 뇌파 신호를 선형 인코딩 모델로 유의미하게 예측함이 입증되었다. 2026년 2월 기하학 연구(arXiv:2602.07539v1)는 학습 과정에서 내부 표상의 곡률이 낮아지는 '기하학적 평탄화(geometric flattening)'가 fMRI 예측력 상승과 강하게 공진화하며, Pythia 70M에서 1B로 모델 규모가 커질수록 저곡률과 뇌 정렬 간의 결합이 안정화됨을 보였다. 영어·중국어·프랑스어를 아우른 2026년 5월 교차 언어 분석(arXiv:2605.23032)은 뇌 정렬이 영어에 국한되지 않음을 확인하면서도, 언어 간 통사 유형론적 거리(Grambank distance)가 멀수록 정렬이 저하되는 경향(β = -0.41)을 보고하고 선형 인코딩 예측력이 곧 뇌와 동일한 계산 알고리즘 수행을 증명하는 것은 아니라는 방법론적 한계를 명시했다. 나아가 Nature Machine Intelligence(2026년 8월)에 게재된 연구는 인간 fMRI 신경 활성화에서 유도한 방향 벡터를 LLM 내부 표상 공간에 주입(steering)해 고난도 추론의 강건성을 높이는 뇌-유도(brain-guided) 모델링으로 진화하고 있다.

그럼에도 생물학적 인간 인지와 현대 LLM 사이에는 질적인 차이가 엄존한다.
첫째, 2026년 인지 모방 평가 연구가 드러냈듯 현재 모델은 문맥 내 근접 사례에 기대어 행동 수준 모방을 수행할 뿐 분포 외 맥락에서 인간의 메타 수준 문제 프레이밍을 내면화하지 못한다.
둘째, LLM은 언어·관계 통합에서는 최고 수준을 보이나 과제 전반의 통합적 적응력이 떨어지는 '서번트형 지능' 양상을 띠며, PNAS(2025) 연구가 입증했듯 챗봇 미세조정 과정에서 도덕적 딜레마의 부작위 편향(omission bias)이 인간(5% 차이)보다 LLM(45% 차이, 회귀계수 b = -0.22 대 -0.03)에서 훨씬 크게 증폭되는 등 인간과 이질적인 편향을 보인다.
셋째, 물리적 구현 기반과 에너지 효율에서도 뇌와 실리콘 아키텍처는 완전히 다른 궤적에 놓여 있다.

[표 3] 생물학적 인간 뇌 vs 현대 트랜스포머 기반 LLM의 물리적·인지적 차원 비교표

비교 차원 인간의 뇌 (생물학적 인지) 현대 LLM (트랜스포머 기반 실리콘 AI)
구조 및 연산 단위 약 860억 개 뉴런과 약 100조 개 시냅스 연결(통상적 신경과학 추정치); 연산과 기억이 동일 시냅스에 통합 수십억~수천억 파라미터 가중치; GPU 기반 고밀도 행렬 곱셈과 분리된 메모리 계층
신호 전달 및 활성화 비동기·희소 스파이크 발화(발화 시에만 주로 에너지 소모); 대중 인지 저서(Biju Dominic) 추정 기준 1,100만 비트 중 의식 처리는 약 77비트 수준 입력 난이도와 무관하게 계층 전반의 밀집 행렬 연산 수행; 내부에서는 J-space(활동량 <10%) 같은 기능적 병목 창발
기호 접지 및 기억 방식 체화된 접지(Embodied grounding): 감각·정서·신체 위험과 직접 연결; 회상마다 재구성되는 다층 기억 통계적 접지(Statistical grounding): 대량 텍스트 동시 출현 패턴 학습; 확산된 정적 가중치를 외부 메모리(RAG·그래프)로 보완
전력 소비 (구동/추론) 상시 약 20 W(컴퓨터 모니터 수준); EE Times(2026) 추정 기준 단순 사고 1초당 약 20 J (약 0.0056~0.006 Wh) EE Times(2026) 추정 기준 시설 수준 메가와트(MW)~기가와트(GW), 단순 텍스트 질의 약 0.3 Wh(약 1,100 J), 에이전트·추론 연쇄 수~수십 Wh
학습 에너지 맥락 평생 경험 학습; 20 W × 24시간 × 365일 × 20년 기준 성인기까지 뇌 자체 연속 가동 소비량은 약 3.5 MWh 수준(신체 대사 비용 별도) 프런티어 모델 1회 사전학습에 막대한 데이터센터 전력 투입; 이후 다수 사용자에게 복제·병렬 서비스 가능

🎯 결론 : 복합 인지 아키텍처로의 수렴과 향후 과제

종합하면, 인간의 인지를 모방하는 LLM 기술은 단일 신경망의 다음 토큰 예측에서 벗어나 외부화된 계층적 기억, 잠재 공간과 형식 검증기를 넘나드는 이중 과정 추론, 전역 작업 공간 기반의 내부 제어와 메타인지적 불확실성 조절이 통합된 복합 인지 아키텍처로 수렴하고 있다. 향후 이 분야의 성패는 2026년 학계가 공통적으로 지목하듯 행동 모방을 넘어선 인지 학습 아키텍처의 정립, 파괴적 망각 없는 해마-신피질 통합, 그리고 비자기회귀적 세계 모델과 뉴로-심볼릭 검증을 얼마나 유기적으로 결합하는가에 달려 있다.