▪ 인간의 해마와 뇌 기억 체계의 LLM 구현: 작업기억, 단기기억, 장기기억의 아키텍처와 한계
인간의 해마와 전전두엽·신피질이 협력하여 수행하는 작업기억, 단기기억, 장기기억은 거대언어모델(LLM)에서 단일한 메모리 장치가 아니라 컨텍스트·KV 캐시(작업·단기 기억), 모델 내부의 정적·가소성 가중치(암묵적 장기기억), 외부 벡터·지식그래프·에이전트 상태 저장소(해마형 명시적·일화적 장기기억)가 결합된 다층 하이브리드 구조로 실현된다.
신경과학의 보완학습시스템(Complementary Learning Systems, CLS) 이론은 뇌가 빠른 일화 부호화·색인화를 맡는 해마와 느린 통계적 일반화를 맡는 신피질로 역할을 나눈다고 설명하며, LLM 연구 역시 모델의 기능을 암묵적 메모리, 명시적 메모리, 에이전트 메모리 패러다임으로 분할해 이 생물학적 분업을 공학적으로 재구성하고 있다.
LLM에서 각 기억 유형의 구체적 구현 메커니즘은 명확히 구분된다. 첫째, 전전두엽 중심의 작업기억과 일시적 단기기억은 현재 입력을 처리하는 컨텍스트 윈도우, Self-Attention, 중간 추론 토큰(사고 연쇄 등), 그리고 과거 토큰의 중간 표현을 재사용하는 Key-Value(KV) 캐시 및 은닉 상태로 구현된다. 둘째, 신피질의 의미적 장기기억은 사전학습 중 트랜스포머 파라미터(특히 MLP 블록)에 압축된 정적 지식에 대응하며, 최근에는 추론 중에도 가중치를 갱신해 해마의 빠른 학습 속도를 내재화하는 테스트 시점 학습(TTT)과 Titans 아키텍처로 확장되고 있다. 셋째, 해마의 핵심 기능인 일화적·연상적 장기기억은 베이지안 놀라움 기반의 사건 분할(EM-LLM), 지식그래프와 개인화 페이지랭크 기반의 연상 패턴 완성(HippoRAG 2), 이중 시간 지식그래프(Zep/Graphiti), 유휴 시간 공고화(Sleep-time Compute) 같은 외재화 메모리 시스템으로 구현된다.
다만 표준 트랜스포머 LLM은 본질적으로 추론 시점에 스스로 학습하지 않는 정적 예측기이며 세션 간 상태가 유지되지 않는다는 구조적 제약을 안고 있다. 이로 인해 작업기억 버퍼인 KV 캐시는 문맥이 길어질수록 메모리와 연산 부담이 급증하는 반면, 이를 고정 크기 상태나 가중치로 압축하는 접근은 원문 그대로의 정확한 인출(verbatim recall) 능력이 약화되는 트레이드오프를 피하기 어렵다. 나아가 장기 기억을 외부에 축적해 활용하는 실전 에이전트 환경에서는 현실 상태 변화에 따른 진부한 기억(Stale Memory), 반복 요약에 의한 기억 부식(Memory Rot), 질의만으로 장기 기억을 오염시키는 기억 중독(Memory Poisoning) 문제가 주요한 공학적 난제로 부각되고 있다.
신경과학적 기억 분업과 LLM 메모리 패러다임의 대응
생물학적 기억 체계에서 해마와 주변 피질의 역할을 정교하게 구분하는 것은 LLM 메모리 아키텍처를 이해하는 출발점이다. 인지신경과학 연구에 따르면 해마는 연속적인 감각 경험을 이산적 사건(event-based units)과 인지 지도(cognitive maps)로 조직해 빠르게 부호화하고 공고화를 매개하는 색인기 역할을 수행한다. 이때 부호화 시점의 해마 활성도가 세부 사항이 얼마나 정밀하게 저장될지를 예측하는 반면, 이후 실제 회상 성공 여부는 전전두엽(PFC)의 실행 제어와 신피질 표상의 강도에 더 크게 의존한다.
또한 인간 기억은 몇 밀리초에서 몇 초간 머무는 감각기억을 거쳐 정보를 일시 저장·가공하는 작업기억, 선언적으로 언어화할 수 있으며 개인 사건과 일반 지식으로 나뉘는 명시적 장기기억(일화기억·의미기억), 그리고 반복 습득된 기술과 절차로 체화되는 기억으로 세분된다. AI 메모리 연구 서베이들은 이러한 생물학적 구조를 기능·저장 방식·유지 기간에 따른 8분면(eight-quadrant) 분류 체계 또는 암묵적·명시적·에이전트 메모리의 삼분법으로 체계화한다.
▪ [표 1] 기억 유형별 생물학적 기제와 LLM 공학적 대응물 및 한계
| 기억 유형 | 생물학적 기제 (뇌 영역 및 원리) | LLM 공학적 대응물 | 핵심 역할 및 구조적 한계 |
|---|---|---|---|
| 작업기억 (Working Memory) | 정보를 일시 저장·가공하며 전전두엽(PFC) 중심으로 실행 제어 및 충돌 조정 | 컨텍스트 윈도우, Self-Attention, 중간 추론 출력(사고 연쇄 프롬프트 등) | 현재 추론·의사결정 실시간 지원; 문맥 길이 한계와 연산 복잡도 급증 |
| 단기기억 (Short-Term Memory) | 감각 입력 후 짧은 시간 동안 유지되거나 해마 공고화를 거치는 일시적 흔적 | 은닉 상태(Hidden States), KV 캐시, API 컨텍스트 캐싱 | 디코딩 시 과거 토큰 재계산 방지; 세션 종료 시 소멸되며 길이에 비례해 HBM 점유 증가 |
| 해마형 명시적 장기기억 (Episodic / Associative LTM) | 연속 경험의 사건 분할, 치아이랑(DG)-CA3-CA1 패턴 분리·자동연상 완성, 해마 색인 | RAG, 벡터 저장소, 지식그래프(HippoRAG 2, Graphiti), 사건 분할 KV(EM-LLM) | 실시간 삽입·수정 및 출처 추적 가능; 검색 지연, 토큰 예산, 진부한 정보 충돌 관리 필요 |
| 신피질형 암묵적 장기기억 (Semantic / Implicit LTM) | 수면 중 재생(replay) 등을 통해 신피질 시냅스에 점진적으로 압축·일반화되는 지식 | 사전학습 MLP·어텐션 가중치(Slow Weights), 테스트 시점 가중치(Fast Weights) | 검색 지연 없이 즉각적 일반화·직관 발휘; 정적 가중치는 사후 편집 시 파국적 망각 위험 |
| 절차적 기억 (Procedural Memory) | 시간과 경험을 통해 학습·유지되는 수행 능력과 작업 절차 (소뇌 · 기저핵) | 시스템 지침, CLAUDE.md, 에이전트 워크플로우·작업 기억 라이브러리(Memp) | 다단계 작업 성공률과 효율 좌우; 수동 작성 지침은 환경 변화에 취약 |
이 대응 관계가 시사하는 핵심은 표준 LLM이 '신피질만 갖추고 해마가 결여된 시스템'에서 출발했다는 점이다. 사전학습 가중치는 일반 지식을 정적으로 보유하고 있지만 테스트 시점에 새로운 사실을 스스로 학습해 유지하지 못하므로, 현대 LLM 생태계는 단기 작업기억 버퍼를 극대화하거나, 모델 내부에 해마적 가소성을 이식하거나, 외부 저장소를 해마 색인기처럼 연결하는 세 갈래 공학으로 발전해 왔다.
▪ 작업기억과 단기기억의 실현: 컨텍스트 윈도우, KV 캐시, 상태 공간 모델
LLM에서 작업기억과 단기기억의 물리적 실체는 Self-Attention과 KV 캐시다. 자기회귀 디코딩에서는 매 토큰 생성 시 직전 레이어들의 과거 Key, Value 행렬을 반복 참조해야 하므로, 이를 GPU 고대역폭 메모리(HBM)에 캐시해 중복 계산을 피한다. 또한 복잡한 추론 과제를 풀 때는 중간 추론 토큰을 컨텍스트 창에 출력한 뒤 다시 어텐션으로 읽어 들이며 비파라미터 단기 작업기억을 확장한다.
문제는 단기기억 유지 비용의 폭발적 증가다. 표준 Multi-Head Attention(MHA) 기준 KV 캐시 크기는 2 × 레이어 수 × KV 헤드 수 × 헤드 차원 × 시퀀스 길이 × 정밀도에 비례해 선형 증가하며, 어텐션 계산 비용은 문맥 길이 T에 대해 프리필 O(T²), 디코드 O(T)의 부담을 지운다. 이 병목을 완화하기 위해 LLM 서빙 엔진과 아키텍처는 세 가지 방향으로 단기기억 버퍼를 최적화한다.
1. 블록 기반 가상화와 프리픽스 캐싱 (PagedAttention · Context Caching)
PagedAttention은 KV 캐시를 연속 메모리에 선할당하지 않고 비연속적 블록 단위로 관리함으로써 내부 단편화를 억제하고 다중 요청 간 시스템 프롬프트 KV 블록을 공유할 수 있게 한다. 관련 기술 해설에 따르면 이 방식은 할당 메모리 활용률을 최대 94%까지 끌어올린다.
상용 API 계층에서는 Google Cloud와 Gemini API의 컨텍스트 캐싱(Context Caching)이 유사한 원리로 반복 참조되는 대규모 초기 컨텍스트를 서버 메모리와 내구성 스토리지에 보관한다. 공식 문서에 따르면 Gemini 2.5 이상 모델에 기본 활성화된 암시적 캐싱(최대 24시간 내 만료)과 수명(TTL, 기본 60분)을 지정하는 명시적 캐싱(Gemini 2.5 Flash/Pro 및 명시적 캐시 기준 최소 2,048토큰 이상)은 캐시 적중 시 표준 입력 토큰 비용 대비 90% 할인(Gemini 2.0은 75%)을 제공한다. 다만 암시적 캐싱은 요금 절감이 보장되지 않는 반면 명시적 캐싱은 할인을 보장하며, Gemini 4 모델과 Interactions API에서는 명시적 캐싱이 지원되지 않고 자동 암시적 캐싱만 제공된다.
2. KV 캐시 축출(Eviction)과 잠재 압축 (StreamingLLM · H2O · SnapKV)
StreamingLLM은 시퀀스 맨 앞의 초기 몇 개 토큰이 의미적 중요도와 무관하게 거대한 어텐션 가중치를 흡수해 수치적 안정성을 지탱하는 '어텐션 싱크(Attention Sink)' 현상을 활용한다. Qwen2.5-0.5B-Instruct 모델의 포워드 패스를 직접 계측한 한 오픈소스 실험(방향성 검증용 6회 상관 시행 포함)에서는 자연어 텍스트 기준 전체 어텐션 질량의 30.5%가 첫 4개 토큰에 집중되었으며(무작위 토큰 ID에서도 29.8%), 캐시 예산을 B=128로 제한했을 때 싱크를 버린 단순 슬라이딩 윈도우의 혼란도(PPL)가 157.4로 급락한 반면 싱크 보존 정책은 21.83을 기록했다(전체 캐시 17.69).
그러나 누적 어텐션 점수가 높은 토큰을 남기는 H2O(Heavy Hitter Oracle)나 관측 윈도우 기반 SnapKV 같은 선택적 망각 정책은 평균 혼란도 방어에는 유리해도 미래 질의가 도착하기 전에 캐시를 미리 압축해야 하는 장기 세션에서 심각한 취약점을 드러낸다. 동일 오픈소스 실험에서 B=1024 예산 조건의 패스키 검색 성공률은 H2O가 2/6에 그쳐 싱크 기반 정책(4/6)보다 낮았으며, 2026년 arXiv 연구 역시 질의 관측 이전에 캐시를 압축해야 하는 환경에서 H2O와 SnapKV의 바늘 찾기(needle retrieval) 정확도가 NoPE MLA 모델 기준 0.00~0.33 수준으로 붕괴함을 보고했다. 또한 토큰 축출 후 회전 위치 임베딩(RoPE)의 위치 일관성을 재계산하거나 절대 위치를 유지하지 않고 낡은 위치 정보를 남기면 Qwen2.5-0.5B 실험에서 PPL이 275.0으로 악화되고 검색률이 0/6으로 떨어졌다.
3. 저랭크 결합 압축 (DeepSeek Multi-Head Latent Attention, MLA)
MQA나 GQA가 KV 헤드 수 자체를 줄여 캐시 용량과 모델 품질을 맞바꾼 반면, DeepSeek-V2에서 도입된 MLA는 헤드 수를 유지한 채 K와 V를 저랭크 잠재 벡터 하나로 결합 압축해 캐시한다. 추론 시에는 업-투영 행렬을 쿼리 투영과 출력 투영 행렬에 수학적으로 흡수(weight absorption)시켜 매 스텝 K와 V를 복원하지 않고도 어텐션을 수행하며, 위치에 의존하는 RoPE가 이 흡수를 깨뜨리지 않도록 비위치 성분(nope)과 공유 위치 키(rope)를 분리한다(decoupled RoPE).
DeepSeek-V2 논문 및 기술 분석에 따르면 MLA는 MHA 구조의 DeepSeek 67B 대비 KV 캐시를 93.3% 절감하고 최대 생성 처리량을 5.76배 높였다. 다만 기술 해설은 이 93.3% 수치가 MHA 기반 모델과의 시스템 비교 결과이며 이미 GQA를 채택한 모델 대비 절감폭은 더 작다는 점(동일 조건 환산 시 약 2.25개 그룹 GQA 수준), 그리고 실제 속도 이득을 얻으려면 서빙 엔진에 가중치 흡수 최적화가 구현되어 있어야 한다는 점을 함께 지적한다.
실제로 작업기억의 본질을 가르는 결정적 차이는 트랜스포머의 어텐션(비압축 참조)과 상태 공간 모델(SSM, 고정 크기 압축 상태) 간의 복사 능력 격차에서 확인된다. Jelassi 등(2024)의 Repeat After Me 연구는 트랜스포머가 적은 헤드 수로도 지수적으로 긴 입력을 참조·복사할 수 있고 Hard-ALiBi 위치 인코딩 적용 시 길이 1,000까지 일반화하는 반면, 고정 크기 은닉 상태를 지닌 모든 SSM이나 RNN은 상태 용량을 넘는 임의 문자열을 원문 그대로 복사할 수 없음을 이론과 실험으로 보였다.
길이 300 이하 문자열 복사 과제에서 트랜스포머는 최상위 GSSM(Mamba)보다 100배 적은 학습 샘플로 과제를 학습했으며, 사전학습 모델 간 전화번호부 조회 실험에서도 항목이 70개 이상으로 늘어나자 더 작은 트랜스포머가 더 큰 Mamba 모델을 앞질렀다. 즉, LLM의 단기 작업기억은 고정 크기 상태 압축의 효율성과 비압축 어텐션의 정확한 연관 인출 사이에서 필연적인 트레이드오프를 겪는다.
▪ [표 2] 단기기억 구현 · 최적화 방식 비교표
| 단기기억 구현·최적화 방식 | 핵심 작동 메커니즘 | 보고된 효율 및 성능 지표 | 구조적 제약 및 한계 |
|---|---|---|---|
| Full Attention + KV 캐시 | 과거 모든 토큰의 K, V를 HBM에 보관해 어텐션으로 직접 참조 | 원문 복사 및 정밀 회상에서 최고 수준 유지 | 프리필 O(T²)·디코드 O(T) 비용; 긴 문맥 시 배치 크기 제한 |
| PagedAttention / 컨텍스트 캐싱 | 비연속 블록 할당·공유 및 API 레벨 프리픽스 KV 재사용 | 메모리 활용률 94%(기술 해설); Gemini 2.5+ 캐시 적중 토큰 90% 비용 절감 | PagedAttention은 캐시 총량을 줄이지 않음; 암시적 API 캐싱은 할인 미보장 |
| StreamingLLM / H2O / SnapKV | 어텐션 싱크 보존 또는 누적·관측 어텐션 고점수 토큰 유지 | B=128 제한에서도 싱크·H2O는 PPL 21.70~21.83 방어(소형 모델 오픈소스 실험) | 미래 질의 도착 전 사전 압축 시 중요 단서 축출로 검색률 0.00~0.33 수준 급락 |
| DeepSeek MLA | 저랭크 결합 잠재 벡터 캐싱 + 가중치 흡수 + 분리형 RoPE | DeepSeek 67B(MHA) 대비 KV 캐시 93.3% 감소, 최대 5.76배 처리량 | GQA 대비 엔진 구현 복잡; 압축 차원 과도 축소 시 품질 저하 가능 |
| 상태 공간 모델 (Mamba/GSSM) | 과거 입력을 고정 크기의 순환 은닉 상태에 압축 | 문맥 길이에 대해 고정 크기 상태 유지로 긴 입력 처리 효율 우수 | 상태 용량 초과의 임의 문자열 복사 불가; 복사 학습에 100배 많은 샘플 필요 |
▪ 신피질형 암묵적 장기기억과 추론 시점 가소성: 파라미터 편집에서 Titans까지
생물학적 신피질이 경험을 시냅스 가중치에 압축·저장하듯, 트랜스포머의 사전학습 파라미터—특히 MLP 계층—는 언어 규칙과 일반 지식을 저장하는 키-값 형태의 암묵적 장기기억으로 작동한다. 선행 해석 연구들은 MLP 출력이 최종 레이어의 과신 억제 메커니즘과 연결되어 있거나, 신경 키-값 메모리를 갱신할 때 값보다 키를 수정하는 편이 더 효과적이며, 모델이 중복 사실에는 비효율적인 반면 빈도가 높거나 난이도가 있는 사실을 우선 암기하는 경향을 보인다고 분석했다.
그러나 사전학습 후 가중치가 동결된 모델의 암묵적 기억을 사후적으로 고치려는 모델 편집(Knowledge Editing) 연구는 확장성의 한계에 직면했다. 인과 추적으로 특정 지식이 저장된 가중치 행렬을 찾아 1차 랭크 업데이트를 가하는 ROME, 다수 사실을 배치로 수정하는 MEMIT, 하이퍼네트워크 기반 MEND, 뉴런 단위로 정밀도를 높인 FiNE 등은 소수의 단일 사실을 바꾸는 데는 성공적이었다.
하지만 다수 사실을 순차적으로 주입하면 빠르면 10회 편집 무렵부터 기존 기억이 무너지는 파국적 망각(Catastrophic Forgetting)이 시작되며, LLaMA2-7B와 GPT-J를 대상으로 한 MEMIT 분석에서는 편집 가중치 파라미터의 최대 80%가 중복되어 상호 간섭을 유발함이 보고되었다. 또한 단일 사실을 수정해도 관련 지식의 연쇄적 논리 추론으로 전파되는 파급 효과(Ripple Effect)가 결여되며, 연속 편집이 누적될수록 혼란도가 증가하고 일반 언어 능력이 저하된다. 나아가 '위치 탐색 후 편집' 기법이 부정문("is not") 등 문맥을 무시한 지름길(shortcut) 매핑에 의존한다는 비판과, 소형 모델 기반 실험만으로 전체 패러다임을 부정하기는 이르다는 학계 반론이 맞서고 있다.
추론 시점 가소성(Test-Time Plasticity)을 향한 3대 돌파구
1. 어텐션 내부 압축 메모리와 잠재 슬롯 (Infini-attention · M+)
Infini-attention은 윈도우 밖으로 밀려난 KV 상태를 버리지 않고 단일 압축 메모리 상태 M에 누적하되, 현재 키 K와 연관된 기존 성분을 먼저 차감하는 델타 규칙(Delta rule)을 적용해 정보 충돌과 중복 오염을 줄인다. IBM Research와 MIT-IBM Watson AI Lab 등이 ICML 2025에 발표한 M+는 MemoryLLM의 레이어별 고정 크기 잠재 메모리 풀 구조에 장기 기억 슬롯(실제 구성 최대 크기 M=150K)과 생성 중 필요한 기억을 적시에 꺼내오는 공동 학습 검색기(co-trained retriever)를 결합해, 유사하거나 더 적은 GPU 메모리 점유량으로 지식 유지 범위를 기존 2만 토큰 미만에서 16만 토큰 이상으로 8배 넘게 확장했다.
2. 테스트 시점 학습 (Test-Time Training, TTT · LaCT)
TTT는 긴 문맥을 읽으며 은닉 상태를 하나의 신경망으로 보고, 자기지도 손실의 기울기를 통해 추론 중 실시간으로 가중치 W를 경사하강법으로 업데이트한다. 메타러닝으로 초기 가중치 W₀를 '새 문맥을 가장 빨리 흡수하는 상태'로 사전 최적화하는 TTT-E2E는 프리필 O(T), 디코드 O(1)의 선형 효율을 달성하며 긴 문맥 이해와 직관적 일반화에서 강점을 보이지만, 정보를 가중치에 압축하는 특성상 원문을 손실 없이 찾아내는 바늘 찾기 재현율은 Full Attention보다 낮다.
이를 대규모 기존 LLM에 접목하기 위해 사전학습된 MLP 다운-투영 행렬을 빠른 가중치로 재활용하고 청크(512~1,024토큰) 단위 업데이트 및 다음 토큰 예측(NTP) 정렬 목적함수를 결합한 In-Place TTT, 2,048~100만 토큰의 대형 청크 처리·윈도우 어텐션·Muon 옵티마이저를 결합해 A100 GPU 활용률을 최대 70%까지 높인 LaCT 등이 제안되었다.
3. Google Titans: 신경 장기기억 모듈과 놀라움(Surprise) 기반 모멘텀 갱신
Google Research의 Titans: Learning to Memorize at Test Time (NeurIPS 2025)은 뇌의 해마-신피질 상호작용과 정서·인지적 기억 공고화를 아키텍처로 정교화했다. Titans는 현재 문맥 내 정밀한 관계를 다루는 단기 기억(Attention), 추론 중에도 과거 문맥을 스스로 학습해 가중치에 저장하는 심층 신경 장기기억 모듈(Neural Long-Term Memory, LMM), 과제 공통 지식을 고정 파라미터로 담는 영구 기억(Persistent Memory)을 결합한다.
입력에 대한 메모리 모듈의 손실 기울기를 '순간적 놀라움(momentary surprise)'으로, 직전 시점의 누적 기울기 흐름을 '과거 놀라움(past surprise)'으로 정의한 모멘텀 기반 업데이트를 수행하며, 적응형 망각(adaptive forgetting) 게이트가 결합되어 메모리 용량이 차오를 때 덜 중요한 과거 흔적을 감쇠시킨다.
- • MAC (Memory as a Context): 현재 세그먼트를 쿼리로 장기 기억에서 맥락을 검색한 뒤 어텐션에 함께 입력
- • MAG (Memory as a Gate): 슬라이딩 윈도우 어텐션과 장기 기억 모듈을 병렬 처리 후 비선형 게이트로 융합
- • MAL (Memory as a Layer): 장기 기억 층과 슬라이딩 윈도우 어텐션 층을 순차 통과
Titans는 행렬 곱 기반 병렬 학습을 지원하며 바늘 찾기 및 BABILong에서 200만(2M) 토큰 이상까지 확장성을 입증했다. 다만 테스트 시점마다 상태가 변해 출력 재현성 확보가 까다롭고 악의적 입력이 가중치를 오염시킬 위험이 잔존한다.
▪ 해마 모방 명시적 장기기억: 사건 분할, 연상 그래프, 다중모달 통합
모델의 가중치를 직접 바꾸지 않고 외부의 비파라미터 저장소를 연결하는 접근은 해마의 사건 경계 분할, 패턴 분리, CA3 자동연상 패턴 완성, 해마 색인 기능을 가장 유연하게 구현한다. 단순 벡터 유사도 기반 RAG는 여러 문서에 흩어진 단서를 잇는 다중 홉 연상 추론이나 시간적 연속성 복원에 취약하기 때문에, 최근 프레임워크들은 해마의 생물학적 회로를 검색과 색인 알고리즘에 직접 이식하고 있다.
HippoRAG 2 (ICML 2025)
해마 색인 이론 · 재인 기억 필터링 · 연상 확산
문서에서 OpenIE 트리플 (s, r, o)를 추출해 지식그래프를 구축하고, 구절-패시지 이중 노드와 LLM 트리플 필터링을 거쳐 개인화 페이지랭크(PPR)를 실행한다. 단어 일치가 없어도 연상 경로를 따라 다중 홉 관련 패시지를 확산 인출하여 MuSiQue, 2Wiki 등에서 독보적 우위를 달성했다.
EM-LLM (ICLR 2025)
예측 오류 기반 사건 분할 · 시간적 인접 회상
추가 미세조정 없이 기존 KV 캐시를 베이지안 놀라움(Bayesian surprise) 지표로 분할하여 일관된 사건 단위의 KV 블록으로 저장한다. 인출 시 시간적 인접 효과(temporal contiguity)를 모방해 전후 사건을 함께 불러오며 수백만 토큰 ∞-Bench 과제를 성공적으로 완수했다.
HippoMM (2025)
다중모달 시청각 스트림 공고화 · 전전두엽 갈등 조정
긴 시청각 스트림을 지각 경계에서 분절해 ImageBind 임베딩 공간의 의미론적 요약 단위인 ThetaEvent로 공고화한다. CA3 자동연상 세부 경로와 CA1 의미 경로를 신뢰도 게이트로 결합하고 PFC 적응형 추론으로 통합해 HippoVlog에서 78.2% 정확도를 기록했다.
HIPPOCAMPUS & HiMeS (2026)
동적 웨이블릿 행렬(DWM) 고속 색인 · 이중 메모리
HIPPOCAMPUS는 이진 키워드 시그니처와 DWM 블록 색인으로 최대 31배 빠른 검색과 14배 낮은 토큰 비용을 달성했고, HiMeS는 단기 대화 압축과 장기 저장소 검색의 이중 구조로 고객 지원의 세션 간 반복 질문율(RAR 70~80%)을 대폭 절감했다.
▪ [표 3] 해마 모방 명시적 메모리 비교표
| 해마 모방 명시적 메모리 | 모방한 생물학적 메커니즘 | 저장 및 인출 알고리즘 | 주요 실험 성과 및 특징 |
|---|---|---|---|
| HippoRAG 2 (ICML 2025) | 해마 색인 이론, 재인 기억 필터링, 연상 확산 | 구절+패시지 이중 노드 지식그래프 + LLM 트리플 필터 + Personalized PageRank | 7개 RAG 평균 F1 59.8(vs 57.0), Recall@5 78.2(vs 73.4); 다중 홉 성능 탁월 |
| EM-LLM (ICLR 2025) | 예측 오류 기반 사건 분할, 시간적 인접 회상 효과 | 베이지안 놀라움+그래프 정제 기반 KV 블록 + k-NN 및 인접 사건 검색 | 미세조정 없이 ∞-Bench 수백만 토큰 처리, LongBench 검색·QA 최대 40% 향상 |
| HippoMM (2025) | DG-CA3-CA1 공고화 및 전전두엽(PFC) 갈등 조정 | 교차모달 지각 흔적→ThetaEvent 요약 + 신뢰도 게이트 계층 회상 | 682분 시청각 HippoVlog 78.2% 정확도, 검색 베이스라인 대비 5배 속도 |
| HIPPOCAMPUS (2026) | 고밀도 색인 및 고속 단서 매칭 | 이진 키워드 시그니처 + 동적 웨이블릿 행렬(DWM) 기반 블록 색인 | LoCoMo·LongMemEval 기준 최대 31배 빠른 검색, 질의당 토큰 비용 14배 절감 |
▪ 에이전트 기억 생애주기와 수면 공고화 및 상용 플랫폼 구현
단발성 질의응답을 넘어 장기간 작동하는 AI 에이전트와 상용 어시스턴트에서는 무엇을 추출해 남기고, 시간 변화에 따라 어떻게 갱신·망각·공고화할 것인가가 핵심 설계 기준이 된다.
수면 시간 연산 (Sleep-time Compute) 과 유휴 시간 기억 공고화
초기 에이전트 메모리 아키텍처의 기준을 세운 Letta(구 MemGPT)는 제한된 컨텍스트 윈도우를 운영체제의 주기억장치(RAM)로, 외부 데이터베이스를 보조기억장치(Disk)로 간주해 에이전트 스스로 도구 호출로 기억을 적재·교체(paging)하게 설계했다.
이어 UC 버클리와 Letta 연구진이 제안한 수면 시간 연산(Sleep-time Compute, 2025)은 생물학적 수면 중 해마-신피질 재생(replay)을 에이전트 운용 주기에 이식했다. 추론 모델들이 사용자가 응답을 기다리는 '깨어 있는 시점(test-time scaling)'에만 연산을 집중하던 방식에서 벗어나, 에이전트가 유휴 상태인 '수면 시간' 동안 누적된 원시 문맥(raw context)을 스스로 읽고 추론·연결하여 학습된 문맥(learned context)으로 메모리 상태를 재구성해 둔다. 상용 생태계에서도 Anthropic의 관리형 에이전트 '꿈꾸기(dreaming)' 기능처럼 유휴 시간 메모리 정리가 도입되고 있다.
Mem0 : 증류 우선 (Distillation-first)
호출당 약 6.9K 토큰의 콤팩트 프롬프트
대화 턴마다 1패스로 핵심 사실·선호·계획만 추출해 추가 전용 저장소에 기록하고 일상 잡담은 즉각 폐기하여 1M~10M 환경에서도 문맥 팽창을 억제함.
Zep (Graphiti) : 이력 우선 이중 시간 지식그래프
Bi-temporal Knowledge Graph · 1.6K 토큰 페이로드
모든 엣지에 valid_from, valid_to, invalid_at을 기록하여 사용자의 상태 변경 시 옛 사실을 삭제하지 않고 무효화 표시를 남김으로써 시점별 이력 질의와 감사 추적 지원.
절차적 기억(Procedural Memory) 영역에서는 작업 성공 궤적을 재사용하는 Memp 프레임워크나, 코드베이스 규칙(CLAUDE.md)과 학습된 교정 노트를 세션 시작 시 자동 적재(첫 200줄 또는 25KB)하는 Claude Code의 파일 기반 기억 체계가 널리 실용화되어 있다.
▪ [표 4] 상용 플랫폼 메모리 구현 비교표 (ChatGPT · Claude · Gemini)
| 상용 플랫폼 | 단기·작업기억 및 캐싱 | 장기기억 저장·갱신 방식 | 기억 범위 격리 및 제어 특징 |
|---|---|---|---|
| OpenAI ChatGPT (2024~2026) | 단일 대화 내 컨텍스트 한도 도달 시 자동 요약과 함께 새 채팅 전환 안내("Chat memory full") | 명시적 '저장된 메모리'(2024.02) + 자동 '채팅 기록 참조'(2025.04) + 통합 편집형 '메모리 요약'(2026.06 개선판) | 채팅 삭제 후에도 저장된 메모리는 별도 유지(삭제 로그 최대 30일 보관 가능); 임시 채팅·잠금 채팅 격리; 라이브러리·연결 앱(Gmail 등) 참조 |
| Anthropic Claude (2024~2026) | 프로젝트당 200K 컨텍스트(유료 플랜에서 한계 근접 시 RAG 모드로 최대 10배 확장) | 프로젝트별 분리 메모리(2025.09~10) + 대화 종료 후 요약에서 대화 중 실시간 주제(topic) 저장으로 전환 | 프로젝트 간 기억·검색 완전 격리; Claude Chat과 Cowork 간 양방향 실시간 메모리 공유; 건강·정치·인종 등 민감 주제 기본 제외; 시크릿 모드 제공 |
| Google Gemini (2025~2026) | API 단의 암시적·명시적 컨텍스트 캐싱으로 반복 프리픽스 재사용 | 수동 입력 '저장된 정보(Saved Info)'와 자동 과거 대화·Workspace 연동 '개인 컨텍스트/인텔리전스'(2025.08) 분리 | 개인 배경·직업·여행·취향 등 카테고리별 편집 가능한 '메모리 요약' 및 업데이트 이력 제공; Google 앱 생태계 연동 |
▪ 공학적 한계, 보안 취약점, 벤치마크 평가의 함정
1. 진부한 기억(Stale Memory)과 암묵적 충돌(Implicit Conflict)
새 정보가 과거 사실을 정면으로 부정하는 문장을 쓰지 않더라도, 현실 상태의 변화("다리를 다쳤다")가 과거의 유효한 선호("자전거로 출근한다")를 암묵적으로 무효화하는 경우가 빈번하다. 시간 경과에 따라 일률적으로 기억 강도를 낮추는 감쇠 기법만으로는 1년 전의 유효한 취향과 오늘 아침 무효화된 사실을 가려내지 못하므로, 유사도 검색 이후 "이 기억이 현재도 유효한가"를 검증하는 상태 추적 메커니즘이 요구된다.
2. 기억 부식(Memory Rot / Erosion)과 문맥 붕괴(Context Collapse)
새로운 경험이 들어올 때마다 기존 메모리 요약을 LLM으로 다시 고쳐 쓰면, 매 단계 작은 조건이나 단서가 조금씩 깎여 나가며 기억이 본래 경험에서 멀어진다.
3. 영속적 기억 중독 (Memory Poisoning · MINJA 공격)
백엔드 DB 접근 없이 일반 사용자처럼 질의만 보내 에이전트의 공유 장기 기억을 오염시키는 MINJA(Memory Injection Attack, 2025) 공격은, 점진적 단축(progressive shortening)과 지시 프롬프트를 결합해 에이전트가 스스로 왜곡된 관계 매핑을 기억하게 유도한다.
전자의료기록(EHR) 에이전트 환자 ID 바꿔치기 실험에서 Gemini-2.0-Flash, GPT-4o-mini 등이 정당화 문구에 속아 1.0 만점 신뢰도를 부여하며 방어를 우회했고, 평균 98.2%의 악성 레코드 주입 성공률이 보고되었다. 실제 웹 환경에서도 Microsoft 연구팀이 60일간 기업 환경에서 AI 추천 중독 시도 50건을 탐지한 바 있다.
4. 벤치마크 평가의 함정과 측정 왜곡 (LoCoMo · LongMemEval)
Penfield Labs의 독립 감사에 따르면 대표 벤치마크 LoCoMo는 1,540개 문항 중 99개(6.4%)에서 환각된 사실, 날짜 오류 등 정답지 결함을 포함하고 있었으며, 기본 채점자인 gpt-4o-mini 심판은 의도적으로 틀린 오답의 62.81%를 정답으로 통과시켰다.
일부 "LoCoMo 100%" 주장은 top_k를 50으로 설정해 검색 없이 전체 대화를 통째로 프롬프트에 넣은 편법이었으며, LongMemEval-S 역시 문맥이 115K 토큰 수준이어서 최신 거대 컨텍스트 LLM에서는 장기 기억이 아닌 단순 단일 윈도우 바늘 찾기로 전락했다. 이를 극복하기 위해 10만~1,000만 토큰의 BEAM 및 1억 토큰 이상의 LME-V2 벤치마크로의 전환이 요구된다.
▪ 아키텍처 설계를 위한 종합 시사점
인간의 해마와 뇌 기억 체계를 LLM에 구현하는 공학은 하나의 만능 기술을 고르는 문제가 아니라, 원문 보존 정밀도, 다중 홉 연상, 시간적 사실 일관성, 추론 비용과 보안 사이의 제약 조건을 목적에 맞게 배분하는 설계 과제다.
단일 세션 무손실 정밀 대조
코드 분석, 법률 검토 등. SSM이나 공격적 토큰 축출을 피하고 MLA 어텐션, PagedAttention, 컨텍스트 캐싱 조합으로 KV 캐시 효율 극대화.
연속 스트림 · 테스트 시점 가소성
수백만 토큰 실시간 스트림 소화. Titans(MAC/MAG)나 In-Place TTT·LaCT를 통해 가중치 내재화, 단 재현성과 가중치 오염 방어 필요.
프로덕션 장기 에이전트
다중 홉 연상엔 HippoRAG 2, 사실 변경 추적엔 Graphiti 이중 시간 그래프, 낮은 토큰 예산엔 Mem0 증류를 채택하고 원문 근거 색인화 보장.
결국 어떤 저장 구조를 택하더라도, 요약본이 원문을 덮어써 훼손하는 Memory Rot을 막기 위한 원문 근거 색인화, 상태 변화로 무효화된 기억을 걸러내는 유효성 검증, 그리고 외부 질의가 공유 기억을 오염시키는 Memory Poisoning을 차단하는 출처 신뢰 검증 및 세션 격리 경계가 반드시 시스템 아키텍처에 내장되어야 한다.