1. 총론: 인간 인지를 모방하는 LLM 6대 기술 체계와 구조적 한계
인간의 인지를 모방하는 대형 언어 모델(LLM) 기술은 단일 신경망의 규모 확장을 넘어 여섯 가지 핵심 기술 축으로 구현되고 있다.
인지 아키텍처 & 전역 방송
고전 인지 아키텍처와 전역 작업 공간 이론(GWT)을 에이전트 구조 및 신경망 내부 활성화 병목으로 구현한 전역 방송 메커니즘.
다층적 기억 시스템 & 가소성
작업·일화·의미·절차 기억을 OS식 가상 메모리, 시간·해마 지식 그래프, 수면 시간 연산(Sleep-time Compute), 테스트 타임 가중치 갱신으로 모사.
숙고적 이중 과정 추론 (System 2)
직관적 토큰 생성(System 1) 위에 그래프 탐색(ToT/GoT), 과정 보상 모델(PRM), 규칙 기반 강화학습(GRPO), 연속 잠재 공간 사고(Coconut) 결합.
메타인지 & 불확실성 기권
자신의 추론 오류를 감시·교정하는 반성(Reflexion) 루프와 의미 엔트로피 및 등각 예측 기반 기권(Abstention) 메커니즘.
마음 이론(ToM) & 세계 모델
타인의 정신 상태를 추론하는 관점 취하기 프레임워크와 기호 연역·형식 검증기가 결합된 뉴로-심볼릭 세계 모델.
인지 파운데이션 & 뇌 표상 정렬
대규모 인간 행동 데이터로 훈련한 인지 파운데이션 모델(Centaur)과 좌반구 언어 네트워크 fMRI 활성 정렬 기술.
이들 기술은 특정 과제에서 인간 전문가나 기존 인지 모델에 근접하거나 이를 상회하는 성과를 보였지만, 2024~2026년 발표된 실증 연구들은 외형적 모사와 내적 인지 기제 사이의 분명한 간극을 지적한다. 예컨대 2026년 학술 추론 모방 평가 프리프린트에서 GPT-5.1과 Gemini-2.5 등 최신 모델은 인간 평가자 기준 최소 89%의 사례가 행동 수준 모방(B 또는 C 등급)으로 분류되었을 뿐, 분포 외 맥락에서 메타 수준 인지를 추출해 내면화하는 인지적 내면화(cognitive internalization)에는 이르지 못했다. 아울러 표면적 언어 단서에 편승하는 '영리한 한스(Clever Hans)' 휴리스틱, 영역별 편차가 극심한 '서번트형 지능(savant-like intelligence)', 감각·신체 경험이 결여된 기호 접지(symbol grounding) 문제, 그리고 약 20 W로 작동하는 생물학적 뇌와 메가와트(MW)급 데이터센터 간 근본적 에너지·연산 격차가 현재 모방 기술의 구조적 경계를 이룬다.
2. [표 1] 인지 영역별 인간 인지의 원리 vs 주요 LLM 모방 기술 vs 핵심 한계
| 인지 영역 | 인간 인지의 원리 | 주요 LLM 모방 기술 및 대표 연구 | 핵심 한계 및 검증 상의 유보 |
|---|---|---|---|
| 인지 아키텍처와 의식적 방송 | 작업 공간 병목에 선택된 정보를 다수 하위 모듈에 전역 방송 | CoALA 프레임워크, Consciousness Prior, CTM, Anthropic J-space 및 J-lens | 현상적 의식이 아닌 접근 의식에 국한; 억제 지시 시 백곰 효과 발생; 단일 토큰 탐지 제약 |
| 기억 계층과 기억 통합 | 작업·일화·의미·절차 기억 분리 및 수면 중 기억 공고화 | MemGPT/Letta, H2O/StreamingLLM, HippoRAG, Zep/Mem0/Memora, Sleep-time Compute, Titans | 순차적 가중치 편집(MEMIT) 시 약 1,400회 후 파괴적 망각; 메모리 벤치마크(LoCoMo 등) 재현 편차 존재 |
| 이중 과정 및 잠재 추론 | 빠른 직관(System 1)과 느린 계획·검증(System 2), 비언어적 숙고 | ToT/GoT, PRM, Compute-Optimal Scaling, DeepSeek-R1(GRPO), Coconut | 고난도·고부하 조건에서는 사전학습 확장이 여전히 우위; 추론 모델의 일반 작업·언어 혼합 취약성 |
| 메타인지와 자기 통제 | 오류 감시, 지식 한계 인식, 외부 도구로의 인지 부하 분산 | Reflexion/Meta-Reflexion, Semantic Entropy, Conformal Abstention, ReAct/Toolformer | 외부 검증자 없는 내재적 자기 교정은 답변 흔들림·인지 편향으로 정확도 저하 빈번; RLHF 기반 과신 및 메타기억(JOL) 실패 |
| 사회적·인과적 세계 모델 | 타인 믿음·의도 추적, 개입·반사실 추론, 물리적 상태 시뮬레이션 | SimToM, PercepToM, ToMA, RSA, AlphaProof/AlphaGeometry 2, JEPA | 장기 상호작용 ToM은 인간 대비 54.2% 저조; 인과 벤치마크 오염·단서 학습 논란; 게임 트랙 세계 모델 구조 F1 0.366에 그침 |
| 행동·신경 표상 정렬 | 실험적 의사결정 패턴 및 좌반구 언어 뇌영역 활성 반응 | Centaur (Psych-101 미세조정), 표상 곡률 평탄화 분석, fMRI 뇌-유도 스티어링 | WEIRD 표본 편향 및 소형 모델 분포 외 약화; 선형 표상 예측력이 곧 동일 계산 메커니즘을 뜻하지 않음 |
3. 인지 아키텍처와 전역 작업 공간의 구현
인간 인지 시스템의 거시적 구조를 소프트웨어 설계로 옮기려는 시도는 고전 인지 아키텍처를 LLM 에이전트 프레임워크로 재정립하면서 체계화되었다. Sumers 등(2023)이 제안한 CoALA(Cognitive Architectures for Language Agents)는 LLM을 단순한 텍스트 생성기가 아니라 작업 기억과 모듈화된 장기 기억(일화·의미·절차 기억)을 갖추고, 내부 기억 조작과 외부 환경 행동을 아우르는 구조화된 행동 공간 위에서 의사결정 루프를 실행하는 언어 에이전트로 개념화했다.
Zylos Research의 2026년 3월 기술 분석과 고전 인지 아키텍처 문헌에 따르면, 20세기 인지과학의 대표 모델들은 현대 LLM 에이전트의 설계 패턴 및 실패 양상과 밀접하게 대응한다.
- • ACT-R과의 대응: ACT-R은 중앙 실행부의 생성 규칙(절차 기억)과 활성화 감쇠·연상 확산이 작용하는 사실 청크(선언적 기억)를 구분하는데, 이는 현대 에이전트에서 도구 선택 로직과 검색 증강 생성(RAG)·의미 검색의 분리에 대응하며, 검색 활성화 실패가 곧장 환각으로 이어지는 원인을 설명한다.
- • Soar와의 대응: Soar는 모든 목표 지향 행동을 문제 공간 탐색으로 보고 다음 연산자를 선택할 수 없는 교착 상태(impasse)에서 하위 목표(subgoal)를 자동 생성하는데, 이는 현대의 오케스트레이터-서브에이전트 위임 패턴에 해당한다. 실제로 2025년 Wray, Kirk, Laird의 연구는 Soar의 관찰-결정-실행 주기를 ReAct 패턴과 대비하며, ReAct에 명시적인 확정(commitment) 단계가 빠져 있어 추론 불안정성이 유발된다고 분석했다.
- • GWT 및 LIDA와의 대응: 가장 직접적으로 현대 트랜스포머 에이전트와 닮은 고전 모델은 Bernard Baars의 전역 작업 공간 이론(GWT)과 이를 구현한 Stan Franklin의 LIDA 아키텍처다. GWT와 LIDA는 다수의 병렬적·무의식적 하위 처리기들이 단일 '전역 작업 공간'의 방송 권한을 얻기 위해 경쟁하는 구조(이해 → 의식적 방송 → 행동 선택)를 제시하며, 이는 트랜스포머 어텐션 가중치의 표상 우선순위 경쟁 및 컨텍스트 윈도우라는 단일 작업 공간 병목에 대응한다. LIDA 모델은 감각·정보 과부하 상황에서 중요도가 낮은 의사결정 단서가 방송 경쟁에서 밀려난다고 예측하며, 이는 LLM의 컨텍스트 윈도우를 무작정 채울수록 추론 품질이 희석되는 현상에 이론적 근거를 제공한다.
이론 신경망 연구에서는 Yoshua Bengio(2017/2019 프리프린트)가 의식 사전(Consciousness Prior)을 제안해, 어텐션으로 선택되어 전역 방송되는 소수 고수준 개념 변수들의 희소 인자 그래프(sparse factor graph)가 인간의 언어적 보고와 조합적 일반화(systematic generalization)의 핵심이라고 설명했다. 또한 Manuel Blum과 Lenore Blum(PNAS 2022, 2026년 5월 Simons 연구소 강연)은 단기기억(STM), 방대한 무의식 프로세서 집합(LTM), 확률적 경쟁용 상향 이진 트리(Up-Tree), 전역 방송용 하향 트리(Down-Tree), 프로세서 간 무의식 연결(Links), 입출력(Input/Output)으로 구성된 7-튜플 형식 모델 Conscious Turing Machine(CTM)과 멀티모달 내부 언어 'Brainish'를 통해 전역 작업 공간 기반 의식의 계산 모델을 정식화했다.
🔬 Anthropic의 실증 연구 : Jacobian Lens(J-lens)와 J-space의 자발적 출현 (2026년 7월)
이러한 이론적 작업 공간 구조가 실제 상용 LLM 내부에 자발적으로 출현한다는 실증적 단서는 2026년 7월 Anthropic의 자체 연구 보고를 통해 제시되었다. 연구진은 미래에 특정 단어를 발화할 가능성을 높이는 내부 신경 활성화 패턴을 어휘 전체에서 역산하는 해석 기법 Jacobian Lens(J-lens)를 개발해, 연구자의 명시적 설계 없이 학습 과정에서 자연스럽게 형성된 특권적 표상 영역 J-space를 식별했다.
텍스트로 출력되는 스크래치패드와 달리 내부 신경 활성화 수준에서 조용히 작동하는 J-space는 Claude 전체 내부 활동의 10% 미만만 차지하고 동시에 수십 개(few dozen)의 개념만 담지만, 네트워크 내 다른 구성요소들과 맺는 연결 밀도는 일반 내부 패턴 대비 최대 약 100배에 달하는 중앙 방송 허브 역할을 수행했다.
인과적 개입 실험에서도 J-space의 기능적 역할이 확인되었다. J-space에서 "Soccer" 패턴을 "Rugby"로 교체하면 모델이 자신의 숨은 생각을 다르게 보고했으며, "France"를 "China"로 치환하면 수도(Paris → Beijing), 언어(French → Chinese), 대륙(Europe → Asia) 응답이 일제히 바뀌었다. 또한 관련 없는 문장을 베껴 쓰면서 암산(3² - 2 → 9 → 7)을 은밀히 수행하도록 지시하면 J-space에 중간값들이 순차적으로 점등되었다. 반대로 J-space 활성을 완전히 제거하자 유창한 문법 구사나 단순 사실 회상 같은 자동적 처리는 유지된 반면 다단계 추론 성능은 거의 0으로 급락했다. 다만 Anthropic은 이 결과가 주관적 느낌인 현상적 의식(phenomenal consciousness)이 아니라 정보를 보고·추론·행동에 활용하는 기능적 접근 의식(access consciousness)에 해당함을 분명히 했으며, 특정 개념을 생각하지 말라고 지시하면 오히려 J-space가 켜지고 "damn", "failure" 같은 단어가 동반 점등되는 백곰 효과(White Bear Effect)와 J-lens가 현재 단일 토큰 개념만 포착하는 기술적 한계도 함께 보고했다.
4. 다층적 기억 시스템, 기억 통합과 실시간 테스트 타임 학습
생물학적 기억은 단기 작업 기억과 서술(일화·의미)·절차 기억으로 계층화되어 회상 시마다 재구성되는 반면, 전통적인 LLM은 사전학습 가중치에 지식이 확산 고정되어 있어 개별 경험을 저장·수정하거나 지속 학습하기 어렵다. 이를 극복하기 위해 작업 기억의 가상 메모리 관리부터 해마 색인 기반 그래프, 수면 시간 연산, 테스트 시점 가중치 가소성에 이르는 다양한 기억 기술이 개발되었다.
[표 2] 인간 기억 원리를 모방하는 LLM 메모리 및 가소성 기술 비교표
| 메모리/학습 기술 | 모방하는 인간 기억 원리 | 핵심 메커니즘 및 작동 단위 | 주요 강점 및 보고된 성과 | 알려진 한계 및 트레이드오프 |
|---|---|---|---|---|
| MemGPT / Letta | 작업 기억과 장기 저장소 간 능동적 전환 | 컨텍스트 윈도우를 RAM으로 취급하고 에이전트가 함수 호출로 메모리 블록·외부 저장소 간 페이징 수행 | 에이전트 주도의 지속적 상태 유지 및 사실상 무제한 문맥 확장 | 에이전트 자체의 도구 호출 판단 품질과 턴 지연에 의존 |
| H2O / StreamingLLM | 작업 기억의 선택적 주의 및 정보 망각 | 어텐션 점수 기여가 큰 핵심 토큰(Heavy Hitters)·초기 sink 토큰과 최신 토큰만 KV 캐시에 유지 | vLLM GitHub 이슈 인용 요약 기준 20% H2 축소 시 처리량 29배·지연 1.9배 개선 언급 | 불필요하다고 판정된 KV 캐시 제거 시 장기 문맥 정확도 저하 우려 |
| HippoRAG / HippoRAG 2 | 해마 기억 색인과 신피질 연상 네트워크 | LLM으로 추출한 지식 그래프 위에서 개인화 페이지랭크(PPR) 기반 연상 경로 탐색 | 단순 벡터 검색을 넘어 다단계 사실·연상 기억 및 비모수 지속 학습 성능 향상 | 초기 지식 그래프 구축 및 구조 유지 비용 발생 |
| Mem0 | 일화 기억의 사실 추출 및 의미 기억 승격 | 턴마다 원자적 사실을 추출해 ADD·UPDATE·DELETE·NOOP으로 기존 기억과 충돌 조정 | 사용자 개인화에 최적화, 중복 억제 및 일관된 현재 상태 유지 | 상충 정보 발생 시 과거 사실을 덮어써 시점별 이력 감사(audit) 불가(Cognee 비교 분석) |
| Zep (Graphiti) | 시간 축을 포함한 자서전적·일화 기억 | 개체 간 관계 엣지에 사실의 유효 시작·만료 시점을 기록하는 시간 지식 그래프 | 과거 시점 기준 사실 복원 가능, 논문 리뷰 블로그 기준 DMR 94.8% 기록 | 평가 주체·기저 모델에 따라 LoCoMo 점수가 58.4~94.7점으로 편차 큼 |
| Memora | 구체적 사건 보존과 단서(Cue) 기반 연상 인출 | 원문 저장 층위와 프라이머리 추상화·큐 앵커(cue anchor) 색인 층위의 분리 | 요약 손실이나 단편화 없이 고수준 스캔과 세밀한 조회 동시 달성(ICML 2026 발표 소개) | 정책 기반 검색의 순차 LLM 호출 지연 및 판단자 편향 전이 위험 |
| Sleep-time Compute | 수면 중 해마-신피질 간 오프라인 기억 공고화 | 사용자 유휴 시간에 원시 컨텍스트를 사전 추론해 '학습된 컨텍스트'로 재조직 | 테스트 타임 연산 약 5배 절감, 정확도 13~18% 추가 향상, 다중 질의 비용 2.5배 절감 | 질의가 문맥에서 예측 가능할 때 유리; SWE 고예산 구간에선 테스트 타임 스케일링에 열위 |
| Titans / MIRAS | 예상 밖의(놀라운) 사건에 대한 장기 기억 강화 | 연관 메모리 손실 기울기를 '놀라움 지표'로 삼아 테스트 시 신경 메모리 가중치 갱신·감쇠 | 단기 어텐션·장기 신경 메모리·영속 기억 결합으로 200만 토큰 이상 문맥 확장 보고 | 순차적 직접 가중치 편집(MEMIT)은 약 1,400회 후 망각 문제; 아키텍처 전환 필요 |
작업 기억 제어 측면에서는 OS의 가상 메모리 페이징에서 영감을 얻은 MemGPT(이후 Letta 프레임워크로 발전)가 제한된 컨텍스트 윈도우를 주 메모리(RAM)처럼 운용하며, 에이전트가 스스로 함수 호출을 통해 핵심 메모리 블록과 외부 아카이브를 편집·교체하도록 했다. 추론 엔진 하부에서는 어텐션 점수에 압도적으로 기여하는 소수 토큰(Heavy Hitters)과 최근 토큰만 보존하는 H2O, 그리고 문맥 초기 토큰을 어텐션 싱크(attention sinks)로 고정해 무한 스트림 생성을 유지하는 StreamingLLM이 인간 작업 기억의 선택적 주의와 망각을 시스템 계층에서 구현한다.
장기 일화·의미 기억 영역에서는 뇌의 해마 색인 이론에 기반한 HippoRAG(Gutiérrez et al., 2024)와 HippoRAG 2가 대표적이다. HippoRAG는 기억을 고립된 벡터 조각으로 두지 않고 개체 간 지식 그래프로 연결한 뒤 개인화 페이지랭크(PPR)로 연상 경로를 탐색해 다단계 추론과 비모수 지속 학습 성능을 개선했다. 실무 에이전트 메모리 계층에서는 기억의 시간성과 갱신 방식이 분화하고 있다. Mem0는 대화마다 추출한 원자적 사실을 기존 기억과 대조해 충돌 시 덮어쓰는 현재 상태 중심 전략을 취해 개인화에 강점을 보이나, 경쟁 프레임워크인 Cognee의 2026년 비교 분석이 지적하듯 과거 사실이 덮어쓰여 시점별 이력 감사가 어렵다. 반면 Zep(오픈소스 엔진 Graphiti)은 각 관계 엣지에 유효 시작·만료 시점을 기록하는 시간 지식 그래프를 유지해 특정 날짜 기준 사실 조회를 지원한다. 또한 Microsoft Research가 ICML 2026에 발표한 Memora는(PyTorch KR 커뮤니티 소개 요약 기준) 원문 데이터를 손실 없이 두는 저장 층위와 프라이머리 추상화·다중 관점 태그(큐 앵커)로 구성된 얇은 색인 층위를 분리함으로써, 원문 RAG의 잡음 문제와 요약 메모리의 세부 수치 손실 딜레마를 동시에 피하려 했다. 다만 메모리 벤치마크의 재현성에는 주의가 필요한데, The Agent Field Guide의 조사(2026)에 따르면 LoCoMo 벤치마크에서 Zep의 점수가 실행 주체와 기저 LLM에 따라 58.4점(Mem0 재현)에서 75.1점(Zep 2025), 94.7점(gpt-5.4 기반 2026)까지 36점 폭으로 달랐으며, EverMemOS 역시 93.05점 보고 대비 공개 재현 시 38~52점에 머무른 바 있다.
시간 차원의 오프라인 기억 통합을 모사한 기술이 Lin 등(Letta, 2025 프리프린트)의 수면 시간 연산(Sleep-time Compute)이다. 에이전트가 사용자 입력을 기다리는 유휴 시간에 코드베이스나 이전 대화 같은 기존 컨텍스트를 미리 추론·재조직해 '학습된 컨텍스트(learned context)'로 변환해 두면, 실제 질의 시점의 연산 부하를 대폭 줄일 수 있다. Stateful GSM-Symbolic 및 Stateful AIME 실험에서 수면 시간 연산은 동일 정확도 달성에 필요한 테스트 타임 연산을 약 5배 줄이고 수면 연산 규모를 늘릴 때 정확도를 각각 13%, 18% 끌어올렸으며, 동일 문맥에 여러 질문이 이어지는 환경에서는 질의당 평균 비용을 2.5배 절감했다. 다만 소프트웨어 엔지니어링(SWE-Features) 사례 연구에서는 낮은 테스트 예산 구간에서는 우위를 보인 반면, 고예산 구간에서는 표준 테스트 타임 스케일링보다 정밀도가 소폭 낮아지는 한계도 함께 관측되었다. 절차 기억 측면에서는 Voyager처럼 환경 실행 피드백을 거쳐 검증된 행동 코드를 스킬 라이브러리(skill library)로 축적·재활용하는 방식이 쓰인다.
외부 저장소를 넘어 신경망 파라미터 자체에 실시간 기억 가소성을 부여한 연구가 Google Research의 Titans(NeurIPS 2025)와 후속 MIRAS 모델군이다. 인간의 뇌가 예상과 어긋나는 '놀라운 사건'을 더 오래 각인한다는 원리를 차용해, Titans는 단기 기억용 어텐션(Core), 고정 태스크 지식을 담는 영속 기억(Persistent Memory), 그리고 추론 중 파라미터를 갱신하는 신경 장기 기억(Long-term Memory)을 결합했다. 이 신경 기억 모듈은 과거 입력의 키-값 쌍을 연상 저장하는 평균제곱오차(MSE) 손실을 최소화하도록 학습하며, 새 입력에 대한 손실 기울기의 크기를 놀라움 지표(Surprise Metric)로 삼아 직전 맥락의 '과거 놀라움'(모멘텀)과 현재의 '순간 놀라움'을 반영해 가중치를 업데이트하고, 데이터 의존적 망각 게이트(가중치 감쇠)로 불필요한 정보를 지운다. 이러한 구조는 기존 가중치 직접 편집 기법인 순차적 MEMIT이 약 1,400회 편집 이후 파괴적 망각에 진입하는 한계를 돌파하려는 접근이나, 2026년 ICLR MemAgents 워크숍 등에서 지적하듯 생물학적 수준의 해마-신피질 통합과 매 갱신 후 기존 역량 퇴행을 점검하는 연속적 역방향 전이 평가는 여전히 해결해야 할 과제다.
5. 이중 과정 추론, 테스트 타임 연산 및 잠재 공간 사고
입력 프롬프트를 단일 순전파로 즉시 다음 토큰으로 사상하는 표준 LLM 추론은 Daniel Kahneman의 인지심리학 구분 중 빠르고 자동적인 System 1에 해당한다. 반면 인간이 복잡한 수학·논리·계획 문제를 풀 때 동원하는 느리고 숙고적인 System 2를 구현하기 위해, 사고 구조화, 중간 검증, 강화학습 기반 자기 탐색, 그리고 비언어적 잠재 추론 기술이 발전해 왔다.
프롬프트 수준의 구조화에서는 선형적 CoT(사고 연쇄)를 다중 분기 탐색과 가지치기로 확장한 Tree of Thoughts(ToT)에 이어, Besta 등(2024)의 Graph of Thoughts(GoT)가 중간 사고 단위를 그래프 정점으로 다루며 생성·정제뿐 아니라 여러 분기의 부분 해답을 합치는 집계(aggregation)와 역추적을 도입했다. 논문 리뷰 분석에 따르면 GoT는 분해 후 병합이 가능한 숫자 정렬 과제(GPT-3.5 중심 평가)에서 ToT 대비 품질을 약 62% 높이고 비용을 31% 이상 절감했으나, 그래프 실행 계획(GoO)을 인간이 설계해야 하고 중간 사고 평가 함수가 부실하면 이득이 급감하며 최신 대형 모델에서의 일반화는 추가 검증이 필요하다는 한계가 있다. 다중 경로 탐색의 정확도를 높이기 위해 Lightman 등(OpenAI, 2023)은 최종 정답만 평가하는 결과 보상 대신 모든 중간 풀이 단계의 타당성을 채점하는 과정 보상 모델(Process Reward Model, PRM)과 80만 단계 레이블 데이터셋(PRM800K)을 구축했다.
이러한 테스트 타임 사고의 경제성과 확장 법칙을 체계화한 것이 Snell 등(2024 프리프린트)의 '연산 최적(compute-optimal)' 배분 연구다. 연구진은 입력 질의의 난이도에 따라 순차적 자기 수정(sequential revision)과 PRM 기반 트리 탐색의 비중을 동적으로 조절하는 전략이 단순 병렬 best-of-N 샘플링보다 약 4배 적은 연산으로 더 높은 성능을 달성함을 보였다. 또한 MATH 데이터셋의 동일 FLOPs 조건에서, 소형 모델이 기본적인 해결 가능성을 갖춘 비교적 쉬운 문제와 낮은 추론 부하 조건에서는 테스트 타임 연산 확장이 14배 더 큰 모델의 사전학습 효과를 능가할 수 있었다. 반대로 모델이 기초 역량조차 갖추지 못한 극고난도 문제나 추론 트래픽이 매우 높은 환경에서는 사전학습 규모를 키우는 편이 여전히 우월했다.
⚡ DeepSeek-R1의 자발적 사고 창발과 규칙 기반 강화학습(GRPO)
인간의 모범 답안 모방 학습(SFT) 없이 강화학습만으로 숙고적 사고가 창발할 수 있음을 보인 대표 사례가 DeepSeek-R1(2025)이다. 연구진은 신경망 보상 모델이 빠지기 쉬운 보상 해킹(reward hacking)을 피하기 위해 수학 정답 일치·코드 컴파일 테스트 통과 여부를 확인하는 객관적 규칙 기반 정확성 보상과 사고 구획·최종 답변 구획 구분을 요구하는 형식 보상(Format reward)을 설계하고, 별도 가치(critic) 모델 없이 그룹 내 응답들의 상대적 점수로 정책을 갱신하는 GRPO(Group Relative Policy Optimization)를 적용했다. 순수 강화학습만 거친 DeepSeek-R1-Zero는 AIME 2024 pass@1 점수가 15.6%에서 71.0%(다수결 투표 86.7%)로 급등했으며, 학습 도중 스스로 초기 가정을 재평가하고 더 긴 사고 시간을 할당하는 '아하 모먼트(aha moment)'와 자기검증 행동이 자발적으로 발현되었다. 가독성과 언어 혼합 문제를 교정하기 위해 소량의 cold-start SFT와 4단계 파이프라인을 결합한 DeepSeek-R1은 1.5B~70B급 오픈소스 모델로 추론 패턴을 지식 증류할 수 있었으며(특히 Qwen2.5-32B에서 직접 RL보다 증류가 우수), 동시에 함수 호출·멀티턴 대화·JSON 출력 등 일반 작업 성능 저하, 비영어권 언어 혼합, few-shot 프롬프트에 대한 성능 하락이라는 한계도 함께 보고되었다.
한편 인간의 사고가 항상 내면의 문장 독백으로만 이루어지지 않고 직관적 개념 공간에서 동시에 여러 가설을 저울질한다는 점에 착안한 기술이 Coconut(Chain of Continuous Thought)(arXiv:2412.06769, COLM 2025 채택)이다. 표준 CoT는 매 추론 단계마다 이산적 언어 토큰으로 디코딩했다가 다시 임베딩해야 하는 언어 병목을 겪지만, Coconut은 트랜스포머의 마지막 은닉 상태(hidden state)를 토큰 변환 없이 다음 단계의 입력 임베딩으로 직접 되먹임해 연속 잠재 공간에서 추론을 이어간다. 그 결과 모델은 하나의 경로를 성급히 선택하지 않고 여러 대안 경로를 잠재 표현에 중첩 유지하는 암묵적 너비 우선 탐색(implicit BFS) 능력을 보이며, 사전학습된 GPT-2 및 합성 데이터셋 기반 평가에서 방대한 역추적이 필요한 논리·계획 과제일수록 기존 CoT보다 적은 추론 토큰으로 더 높은 정확도를 기록했다.
6. 메타인지, 자기 교정과 불확실성 통제
인간은 자신의 추론 오류를 감시하고, 모르는 것을 모른다고 판단하며, 필요할 때 외부 도구에 인지 부담을 위임하는 메타인지(metacognition)를 수행한다. LLM에서도 자기 교정 루프, 불확실성 정량화, 도구 사용으로 이 기능을 모방하려는 연구가 활발하다.
초기 반복 교정 기법인 Self-Refine(Madaan et al., 2023)과 Reflexion(Shinn et al., 2023)은 모델이 생성한 출력에 대해 스스로 피드백을 생성하고 답변을 반복 수정함으로써 코딩과 수학 추론 정확도를 개선했다. 최근에는 단일 오류 가설에만 매몰되는 문제를 완화하기 위해 여러 오류 원인을 발산적으로 탐색한 뒤 수렴적으로 수정안을 도출하는 Meta-Reflexion 같은 이중 역할 구조도 제시되었다.
그러나 테스트 실행기나 컴파일러 같은 외부 오라클 없이 모델 내재 역량만으로 답을 고치는 내재적 자기 교정(intrinsic self-correction)은 신뢰성이 크게 떨어진다. Huang 등(2023/2024)과 2024년 후속 해석 연구(arXiv:2412.14959v1)가 밝힌 바에 따르면, 최첨단 LLM조차 재검토 과정에서 초기 정답을 오답으로 뒤집는 답변 흔들림(answer wavering)으로 전체 정확도가 하락하는 사례가 잦았다. 그 원인은 지식 결핍이라기보다 "문제를 찾으라"는 식의 편향된 수정 프롬프트와 비영(non-zero) 온도 샘플링이 응답 변경을 부추기는 구조적 요인, 그리고 복잡한 과제에서 행동 없이 생각만 반복하는 과잉 사고(overthinking), 긴 맥락에서 명령 구문을 망각하는 인지 과부하(cognitive overload), 불필요하게 응답을 바꾸려는 완벽주의 편향 등 인간의 인지 편향과 유사한 실패 패턴에 있었다. 온도 값을 0으로 설정하고 중립적 프롬프트를 쓰거나 질문 반복 및 SFT를 적용하면 교정 실패를 상당 부분 줄일 수 있으나, 2026년 LLM 메타인지 서베이(arXiv:2607.11881v1)는 일부 상용 모델이 특정 측정에서 인간과 유사하거나 높은 메타인지 민감도를 보이기도 하는 반면, 전반적으로는 RLHF 후학습과 실패 사례 부족으로 인한 과신(overconfidence), 토론·다중 턴 상황에서의 확신 에스컬레이션, 향후 기억 수행을 예측하는 학습 판단(Judgments of Learning, JOL) 같은 메타기억 과제 실패(단, 최신·비GPT 모델 일반화는 추가 검증 필요), 그리고 긴 추론 트레이스나 증류가 메타인지 민감도를 도리어 해칠 수 있는 복합적 한계를 지적한다.
내성적 자기 평가의 불완전함을 보완하는 통계적 접근이 불확실성 정량화와 기권(Abstention)이다. Farquhar 등(2024)이 제안한 의미 엔트로피(Semantic Entropy)는 동일 질문에 여러 답변을 샘플링한 뒤 표면 어휘가 아니라 상호 함의 여부에 따른 의미적 동치군으로 묶어 엔트로피를 계산함으로써 환각(confabulation)을 탐지한다. 30개 모델×과제 조합에서 평균 AUROC 0.79를 달성했으며(다만 2025년 후속 평가들에서는 의료 QA에서 GPT-4가 0.79 상한을 보이고, 희귀 인물 전기 같은 꼬리 지식에서는 GPT-4o-mini가 0.68~0.72에 머무르는 한계도 보고되었다). 또한 의료용 MedAbstain 같은 고위험 도메인 프레임워크는 등각 예측(Conformal Prediction)을 결합해 사전에 설정한 오류 허용 한계 내에서 모델의 불확실성이 기준을 넘으면 답변을 유보하고 기권하도록 통계적 보증을 제공한다.
⚠️ 인지적 외주화(Cognitive Offloading)와 인간 탈숙련화 역작용
더 나아가 ReAct와 Toolformer 같은 도구 호출 기술은 인간이 암산 대신 계산기나 메모장을 활용하는 인지적 외주화(cognitive offloading)를 모델에 이식한 사례다. 반면 2026년 인간-AI 상호작용 연구들은 이 과정이 인간 쪽에서 역작용을 일으킬 수 있음을 경고한다. MIT 경제학부 워킹페이퍼(2026년 2월)는 고객 지원 현장에서 AI가 배경 정보를 제공해 생산성을 도운 사례(Brynjolfsson et al., 2025)와 대조적으로, 글쓰기와 사고를 ChatGPT 등 LLM에 과도하게 외주화할 경우 사용자의 기억 정확도와 창의성이 저하되고 뇌 신경 연결성이 변화한다는 연구(Kosmyna et al., 2025; Gerlich, 2025)를 종합했다. 이를 막기 위해 최신 HCI 연구에서는 모델이 정답을 대신 내놓기 전에 사용자에게 메타인지적 피드백을 제공해 인지적 외주화와 탈숙련화(deskilling)를 완화하는 인터페이스 기법을 모색하고 있다.
8. 인지 파운데이션 모델, 뇌 표상 정렬과 생물학적 지능과의 간극
LLM이 인간 인지의 보편적 계산 원리를 포착할 수 있는지 검증하고 이를 모델 개선에 직접 투입하려는 시도는 인지 파운데이션 모델과 뇌 표상 정렬(Brain–LLM Alignment) 연구로 이어지고 있다.
대표적 이정표인 Centaur(Binz et al., Nature 2025)는 인간 행동 데이터를 대규모로 학습시켜 범용 인지 예측 모델을 구축한 사례다. 연구진은 4비트로 동결된 Llama 3.1 70B 모델에 전체 가중치의 약 0.15%에 해당하는 랭크-8 QLoRA 어댑터를 붙여, 160개 인지심리학 실험에서 60,092명이 수행한 10,681,650건의 선택 데이터를 모은 Psych-101 데이터셋으로 1에폭 미세조정했다. Centaur는 평가에서 제외된 참가자와 새로운 과제 변형에서도 기존 14개 도메인 특화 인지 모델을 모두 능가하는 예측력을 달성했고, 2단계 강화학습 과제에서 인간이 보이는 model-free와 model-based 전략의 혼합 분포를 자연스럽게 재현했으며, 뇌 영상 데이터로 학습하지 않았음에도 문장 읽기 과제의 인간 fMRI 신경 활동 예측력까지 향상되었다. 다만 학습 데이터의 WEIRD(서구·고학력 등) 표본 편향과 학습·의사결정 과제 편중, 그리고 8B 소형 모델(Minitaur)의 분포 외 일반화 약화는 해결 과제로 남았다.
신경과학과의 직접적인 교차점인 뇌-LLM 정렬 연구에서는 LLM 내부 층의 활성화가 좌반구 언어 네트워크(IFGorb, IFG, MFG, AntTemp, PostTemp 등 5개 관심 영역)의 fMRI 혈류 반응과 독서 시간·N400 뇌파 신호를 선형 인코딩 모델로 유의미하게 예측함이 입증되었다. 2026년 2월 기하학 연구(arXiv:2602.07539v1)는 학습 과정에서 내부 표상의 곡률이 낮아지는 '기하학적 평탄화(geometric flattening)'가 fMRI 예측력 상승과 강하게 공진화하며, Pythia 70M에서 1B로 모델 규모가 커질수록 저곡률과 뇌 정렬 간의 결합이 안정화됨을 보였다. 영어·중국어·프랑스어를 아우른 2026년 5월 교차 언어 분석(arXiv:2605.23032)은 뇌 정렬이 영어에 국한되지 않음을 확인하면서도, 언어 간 통사 유형론적 거리(Grambank distance)가 멀수록 정렬이 저하되는 경향(β = -0.41)을 보고하고 선형 인코딩 예측력이 곧 뇌와 동일한 계산 알고리즘 수행을 증명하는 것은 아니라는 방법론적 한계를 명시했다. 나아가 Nature Machine Intelligence(2026년 8월)에 게재된 연구는 인간 fMRI 신경 활성화에서 유도한 방향 벡터를 LLM 내부 표상 공간에 주입(steering)해 고난도 추론의 강건성을 높이는 뇌-유도(brain-guided) 모델링으로 진화하고 있다.
그럼에도 생물학적 인간 인지와 현대 LLM 사이에는 질적인 차이가 엄존한다.
첫째, 2026년 인지 모방 평가 연구가 드러냈듯 현재 모델은 문맥 내 근접 사례에 기대어 행동 수준 모방을 수행할 뿐 분포 외 맥락에서 인간의 메타 수준 문제 프레이밍을 내면화하지 못한다.
둘째, LLM은 언어·관계 통합에서는 최고 수준을 보이나 과제 전반의 통합적 적응력이 떨어지는 '서번트형 지능' 양상을 띠며, PNAS(2025) 연구가 입증했듯 챗봇 미세조정 과정에서 도덕적 딜레마의 부작위 편향(omission bias)이 인간(5% 차이)보다 LLM(45% 차이, 회귀계수 b = -0.22 대 -0.03)에서 훨씬 크게 증폭되는 등 인간과 이질적인 편향을 보인다.
셋째, 물리적 구현 기반과 에너지 효율에서도 뇌와 실리콘 아키텍처는 완전히 다른 궤적에 놓여 있다.
[표 3] 생물학적 인간 뇌 vs 현대 트랜스포머 기반 LLM의 물리적·인지적 차원 비교표
| 비교 차원 | 인간의 뇌 (생물학적 인지) | 현대 LLM (트랜스포머 기반 실리콘 AI) |
|---|---|---|
| 구조 및 연산 단위 | 약 860억 개 뉴런과 약 100조 개 시냅스 연결(통상적 신경과학 추정치); 연산과 기억이 동일 시냅스에 통합 | 수십억~수천억 파라미터 가중치; GPU 기반 고밀도 행렬 곱셈과 분리된 메모리 계층 |
| 신호 전달 및 활성화 | 비동기·희소 스파이크 발화(발화 시에만 주로 에너지 소모); 대중 인지 저서(Biju Dominic) 추정 기준 1,100만 비트 중 의식 처리는 약 77비트 수준 | 입력 난이도와 무관하게 계층 전반의 밀집 행렬 연산 수행; 내부에서는 J-space(활동량 <10%) 같은 기능적 병목 창발 |
| 기호 접지 및 기억 방식 | 체화된 접지(Embodied grounding): 감각·정서·신체 위험과 직접 연결; 회상마다 재구성되는 다층 기억 | 통계적 접지(Statistical grounding): 대량 텍스트 동시 출현 패턴 학습; 확산된 정적 가중치를 외부 메모리(RAG·그래프)로 보완 |
| 전력 소비 (구동/추론) | 상시 약 20 W(컴퓨터 모니터 수준); EE Times(2026) 추정 기준 단순 사고 1초당 약 20 J (약 0.0056~0.006 Wh) | EE Times(2026) 추정 기준 시설 수준 메가와트(MW)~기가와트(GW), 단순 텍스트 질의 약 0.3 Wh(약 1,100 J), 에이전트·추론 연쇄 수~수십 Wh |
| 학습 에너지 맥락 | 평생 경험 학습; 20 W × 24시간 × 365일 × 20년 기준 성인기까지 뇌 자체 연속 가동 소비량은 약 3.5 MWh 수준(신체 대사 비용 별도) | 프런티어 모델 1회 사전학습에 막대한 데이터센터 전력 투입; 이후 다수 사용자에게 복제·병렬 서비스 가능 |
🎯 결론 : 복합 인지 아키텍처로의 수렴과 향후 과제
종합하면, 인간의 인지를 모방하는 LLM 기술은 단일 신경망의 다음 토큰 예측에서 벗어나 외부화된 계층적 기억, 잠재 공간과 형식 검증기를 넘나드는 이중 과정 추론, 전역 작업 공간 기반의 내부 제어와 메타인지적 불확실성 조절이 통합된 복합 인지 아키텍처로 수렴하고 있다. 향후 이 분야의 성패는 2026년 학계가 공통적으로 지목하듯 행동 모방을 넘어선 인지 학습 아키텍처의 정립, 파괴적 망각 없는 해마-신피질 통합, 그리고 비자기회귀적 세계 모델과 뉴로-심볼릭 검증을 얼마나 유기적으로 결합하는가에 달려 있다.