단기기억 : Short-term Memory (STM)
의식의 작업대: 인간 뇌의 신경 발화·작업기억 기제와 현대 AI·LLM의 컨텍스트 윈도우 및 캐시 최적화 스택
단기기억(Short-term Memory)의 본질: 인간 작업기억과 AI·LLM의 상태 관리 메커니즘
단기기억(Short-term Memory, STM)은 외부 감각 환경으로부터 유입된 정보를 수초에서 수십 초 동안 의식의 표면에 붙잡아두는 '인간 인지의 실시간 작업대(Worktable of Consciousness)'입니다. 심리학에서는 밀러(Miller)의 7±2 슬롯과 배들리(Baddeley)의 작업기억(Working Memory) 모델을 통해 정보의 일시적 유지와 조작 기제를 규명해 왔습니다.
뇌과학적으로 단기기억은 시냅스 가중치의 영구적 구조 변화가 아니라, 전전두엽(PFC) 신경망의 지속적 전기 발화(Persistent Firing)와 감각 피질 간의 세타-감마 위상 동기화를 통해 유지됩니다. 현대 인공지능(AI)과 거대언어모델(LLM) 환경에서 단기기억은 트랜스포머의 어텐션 메커니즘, 컨텍스트 윈도우(Context Window), 그리고 KV 캐시(Key-Value Cache)와 자율 에이전트의 작업 기억 버퍼로 구현되며, 추론 지연과 메모리 폭증을 제어하는 최첨단 서빙 엔지니어링의 핵심 화두로 진화했습니다.
AI와 LLM(대규모 언어 모델)에서 인간의 단기 기억(Short-term Memory, 작업 기억)은 주로 컨텍스트 윈도우(Context Window)와 외부 상태 관리(Session State) 기술을 조합해 구현합니다. 기본적으로 LLM은 한 번의 질문을 처리하고 나면 이전 내용을 잊어버리는 무상태(Stateless) 구조를 가집니다. 따라서 단기 기억을 흉내 내기 위해 모델 내부의 연산 구조와 애플리케이션 단의 메모리 관리 기법을 함께 사용합니다.
1. 모델 아키텍처 수준의 구현 (인간의 뇌 작동 원리 모방)
모델이 한 번에 입력받아 처리할 수 있는 토큰(단어 조각)의 최대 용량입니다. 인간이 머릿속에 잠시 띄워두고 계산하거나 대화하는 '작업 기억(Working Memory)' 공간과 같습니다.
트랜스포머(Transformer) 아키텍처의 핵심 기술로, 현재 단어를 처리할 때 컨텍스트 윈도우 안의 이전 단어들 중 어떤 단어에 집중할지 가중치를 계산합니다. 인간이 대화 맥락에서 중요한 키워드를 떠올리는 과정과 유사합니다.
이전 대화 토큰들의 연산 결과(Key, Value 벡터)를 GPU 메모리에 임시 저장해 두는 기술입니다. 매번 처음부터 다시 계산하지 않고 기존 맥락을 빠르게 불러와 응답 속도를 높입니다.
2. 애플리케이션 및 에이전트 수준의 구현
실제 챗봇이나 AI 에이전트 서비스에서는 대화가 이어지도록 LangGraph나 LangChain 같은 프레임워크를 사용해 단기 기억을 관리합니다.
사용자가 새 질문을 할 때마다 이전 질문과 AI의 답변을 배열 형태로 묶어 프롬프트에 통째로 다시 넣어줍니다. 가장 직관적이지만 대화가 길어지면 토큰 한계에 부딪힙니다.
인간이 아주 방금 나눈 대화만 생생하게 기억하는 것처럼, 최근 N턴의 대화만 남기고 오래된 대화는 버리는 방식입니다.
대화가 일정 길이를 넘어가면 백그라운드에서 LLM이 이전 대화의 핵심만 요약해 프롬프트 앞단에 유지합니다. 세부 표현은 잊고 핵심 줄거리만 기억하는 인간의 특성과 닮아 있습니다.
세션이 유지되는 동안 서버의 RAM이나 Redis 같은 고속 임시 저장소에 대화 상태(State)를 스냅샷처럼 저장해 두고 다음 턴에 불러옵니다.
3. 인간 단기 기억 vs AI 단기 기억 비교
| 구분 | 인간의 단기 기억 | AI / LLM의 단기 기억 |
|---|---|---|
| 저장 공간 | 뇌의 전전두엽 (신경망 활성화) | 컨텍스트 윈도우 및 GPU/서버 RAM |
| 용량 한계 | 매우 제한적 (보통 4~7개 청크) | 수만~수백만 토큰까지 확장 가능 |
| 망각 방식 | 시간이 지나거나 간섭이 생기면 자연 소멸 | 토큰 한도 초과 시 앞부분 잘림(Truncation) 또는 요약 |
| 장기 기억 전환 | 수면이나 반복 학습을 통해 해마에서 대뇌 피질로 이동 | 중요 정보를 추출해 벡터 DB(RAG)에 별도 저장 |
🧠 1. 인간 고유의 Short-term Memory가 발생하는 뇌과학 (Neurobiology)
신경과학에서 단기기억은 시냅스의 단백질 합성이나 형태학적 가소성(LTP)에 의존하는 장기기억과 달리, 신경세포들의 즉각적이고 역동적인 전기생리학적 활동(Dynamic Electrophysiological State)에 의해 매개됩니다.
전전두엽(PFC)의 지속적 신경 발화 (Persistent Firing)
호아킨 푸스터(Joaquin Fuster)와 패트리샤 골드만-라키치(Patricia Goldman-Rakic)의 고전적 '지연 반응 과제(Delayed-Response Task)' 연구는 단기기억의 신경생물학적 토대를 밝혔습니다. 외부 자극이 눈앞에서 사라진 뒤 수 초간의 지연(Delay) 기간 동안에도, 배외측 전전두엽(dlPFC) 피라미드 뉴런들은 쉬지 않고 지속적으로 활동 전위(Action Potentials)를 발화합니다. 이 반향 회로(Recurrent Circuit)를 통해 목표 자극의 표상이 지워지지 않고 작업대에 머무르게 됩니다.
도파민 D1 수용체와 역U자형 조율 (Signal-to-Noise Ratio)
전전두엽의 단기기억 회로는 중뇌 복측 피개부(VTA)에서 투사되는 도파민(Dopamine) 농도에 극도로 민감합니다. 도파민 D1 수용체가 적정 수준 자극될 때(역U자형 법칙, Inverted-U Law), 목표 지향적 신경 발화는 강화되고 무관한 주변 신경 발화는 억제되어 단기기억의 신호 대 잡음비(SNR)가 극대화됩니다. 도파민이 결핍되거나 스트레스로 과잉 분비되면 단기기억 유지 회로가 즉각 붕괴합니다.
세타-감마 위상 결합 (Theta-Gamma Phase Coupling)
리스만과 이디악(Lisman & Idiart) 모델에 따르면, 단기기억의 용량 한계는 뇌파의 중첩 구조로 설명됩니다. 해마와 피질의 느린 세타파(Theta oscillation, 4~8Hz) 1주기 안에 빠른 감마파(Gamma oscillation, 30~80Hz)가 약 4~7회 중첩 발화합니다. 각 감마파 1파동이 개별 단기기억 항목(아이템)을 부호화하므로, 한 세타 주기 안에 실을 수 있는 감마 파동의 물리적 한계가 곧 인간 단기기억의 7±2(또는 4)개 용량 한계를 결정짓는 신경 진동 기제가 됩니다.
무발화 잠복 단기기억 (Activity-Silent STM)
최근 몽고(Mongillo et al., Science)와 로크스(Stokes) 등의 연구는 모든 단기기억이 고비용의 지속적 전기 발화에만 의존하지 않는다는 사실을 밝혔습니다. 전기 발화가 잠시 멈추더라도 시냅스 전 말단의 잔류 칼슘 이온(Residual Ca2+) 농도와 일시적 시냅스 촉진(Short-Term Plasticity, STP)에 의해 시냅스 연결 가중치가 일시적으로 높아진 상태로 유지됩니다. 에너지를 소모하지 않고 잠복해 있다가 인출 단서가 주어지면 즉각 기억이 복원됩니다.
전전두엽은 기억 정보를 직접 저장하는 하드디스크가 아니라 '주의 집중의 지휘자(Top-down Attentional Controller)' 역할을 수행합니다. 시각적 단기기억은 시각 피질(후두엽), 공간적 단기기억은 두정엽, 언어적 단기기억은 측두엽 청각 피질에 분산된 감각 표상을 전두엽이 백그라운드에서 강력한 하향식 연결 신호로 묶어둠으로써(Re-activation) 현재 의식의 초점 내에 붙잡아 둡니다.
📚 2. 심리학에서 Short-term Memory의 개념과 이론적 진화
🏛️ 애트킨슨-시프린 다중 저장소 모델 (Atkinson & Shiffrin, 1968)
인지심리학의 정보처리 패러다임을 확립한 다중 저장소 모델은 인간의 기억을 감각 기억(Sensory Memory), 단기기억(Short-term Memory, STM), 장기기억(Long-term Memory, LTM)의 세 단계 선형 구조로 정식화했습니다:
지각된 자극의 원초적 형태를 0.5~2초간 거대한 용량으로 일시 파지 (영상 기억, 반향 기억)
주의(Attention)를 기울인 정보가 유입되어 15~30초간 7±2개 용량으로 유지 (시연을 통해 LTM 전이)
정교화 부호화를 거쳐 무제한 용량과 반영구적 시간 동안 보관되는 지식 창고
조지 밀러의 마법의 숫자 7±2와 청킹
조지 밀러(George A. Miller, 1956)는 성인의 단기기억 용량이 약 7±2개(5~9개)의 정보 덩어리(청크, Chunk)로 제한됨을 증명했습니다. 개별 비트나 글자 수와 무관하게, 01012345678을 010-1234-5678처럼 의미 단위로 묶는 청킹(Chunking)을 통해 제한된 단기 슬롯 안에 방대한 정보를 압축 보관할 수 있습니다.
넬슨 코완의 마법의 숫자 4 (Cowan, 2001)
넬슨 코완(Nelson Cowan)은 시연(Rehearsal)이나 청킹 전략을 엄격히 통제한 순수한 주의 초점(Focus of Attention) 상태에서는 인간의 실제 단기기억 용량이 약 4개 항목(Chunk) 내외로 훨씬 더 제약된다는 현대적 수정 이론을 정립했습니다.
🔄 배들리와 히치의 작업기억(Working Memory) 패러다임 전환 (1974, 2000)
앨런 배들리(Alan Baddeley)와 그레이엄 히치(Graham Hitch)는 정적인 저장 창고에 불과했던 STM 개념을 정보를 일시 저장함과 동시에 능동적으로 가공·조작하는 '작업기억(Working Memory)' 다중 시스템으로 혁신했습니다:
단어 목록을 순서대로 외울 때 맨 앞부분 단어가 잘 기억나는 초두 효과(Primacy Effect)는 반복 시연을 통해 장기기억(LTM)으로 전이되었기 때문이며, 맨 마지막 단어가 잘 기억나는 최신 효과(Recency Effect)는 단기기억(STM) 버퍼에 정보가 여전히 활성화되어 있기 때문입니다. 단어 제시 후 30초간 방해 과제를 주면 최신 효과만 사라진다는 점은 단기기억의 뚜렷한 시간적 한계와 LTM과의 이중 해리(Double Dissociation)를 명확히 입증합니다.
🤖 3. 인공지능(AI)에서 Short-term Memory의 개념과 패러다임
인공지능에서 장기기억이 모델 학습을 통해 가중치(Weights) 파라미터에 영구적으로 각인되는 정적 지식이라면, 단기기억(Short-term Memory)은 모델 가중치를 일절 변경하지 않은 채 단일 추론 런타임 동안 입력을 동적으로 처리하는 활성 메모리 자원을 의미합니다.
은닉 상태(RNN/LSTM)에서 어텐션(Attention)으로
고전 순환 신경망(RNN)과 LSTM은 고정 차원의 은닉 상태 벡터(Hidden State, ht)에 과거 입력을 압축하여 단기 기억을 전달했으나, 시퀀스가 길어질수록 과거 정보가 지워지는 병목과 기울기 소실을 겪었습니다. 반면 트랜스포머(Transformer)의 셀프 어텐션(Self-Attention)은 고정 벡터 압축을 없애고, 시퀀스 내 모든 토큰 간의 관련도를 직접 조회(Q·K·V)함으로써 제한 없는 직접 참조형 작업기억 공간을 창출했습니다.
컨텍스트 윈도우(Context Window)와 KV 캐시
현대 거대언어모델(LLM)에서 단기기억의 크기는 컨텍스트 윈도우(Context Window, 예: 8K~1M 토큰)에 의해 직접적으로 규정됩니다. 프롬프트로 주어진 대화 히스토리, RAG 문서, 시스템 프롬프트는 가중치 학습 없이 순방향 패스 내에서만 유지되며, 추론 시점에는 GPU VRAM 상의 KV 캐시(Key-Value Cache)라는 물리적 작업기억 버퍼에 일시 상주합니다.
자율 에이전트(Autonomous Agent)에서 단기기억은 현재 턴의 대화 메시지, 서브에이전트 계획(Scratchpad), 호출된 도구(Tool API) 반환값, 환경 관찰 결과(Observation)를 임시 보관하는 '작업 메모리 버퍼'로 작동합니다. 인간의 작업기억처럼 목표 과업이 끝나면 버퍼가 비워지거나 요약 정제되어 장기 메모리로 이관됩니다.
🚀 4. AI와 LLM에서 Short-term Memory를 구현하는 핵심 기술 (Deep Research)
💾 1. KV 캐시(Key-Value Cache)와 어텐션 메모리 가속 기술
자기회귀(Autoregressive) 디코딩 시 매 토큰마다 과거 모든 토큰의 Key와 Value 벡터를 재계산하지 않기 위해 GPU VRAM에 저장하는 KV 캐시는 LLM 단기기억의 물리적 실체입니다. 그러나 긴 시퀀스에서 KV 캐시는 파라미터 자체보다 더 많은 VRAM을 소모합니다:
운영체제의 가상 메모리 페이징 기법을 모사하여, 연속적인 물리 메모리 할당 없이 KV 캐시를 고정 크기의 페이지 블록으로 나누어 불연속 할당합니다. 내부 단편화 메모리 낭비를 4% 미만으로 줄여 서빙 처리량을 2~4배 향상시켰습니다.
GPU의 느린 HBM과 빠른 온칩 SRAM 간의 메모리 읽기/쓰기(I/O) 병목을 타일링(Tiling)과 온라인 소프트맥스 기법으로 제거했습니다. O(N2) 어텐션 중간 행렬을 HBM에 쓰지 않고 온칩에서 즉시 계산하여 단기 문맥 처리 속도를 비약적으로 가속했습니다.
📐 2. 장기 컨텍스트 확장 기술 (Long-Context Scaling)
LLM의 작업 기억 반경을 8K에서 128K, 나아가 100만(1M+) 토큰으로 확장하기 위한 위치 임베딩 보간 기술이 고도화되었습니다:
- RoPE 보간과 YaRN (Yet another RoPE extensioN): 회전 위치 임베딩(RoPE)의 고주파 성분은 외삽하고 저주파 성분은 보간하는 다중 스케일링을 통해, 짧은 길이로 사전학습된 모델의 어텐션 엔트로피 붕괴를 막고 작업 기억 길이를 128K 토큰 이상으로 확장합니다.
- RingAttention과 Context Parallelism: 단일 GPU 메모리를 초과하는 초장문 컨텍스트(수백만~천만 토큰)를 여러 GPU로 분할하고, 어텐션 계산용 블록 텐서를 링(Ring) 토폴로지 통신으로 순환 전달하여 무제한 단기 문맥을 분산 처리합니다.
✂️ 3. 슬라이딩 윈도우 & 적응적 KV 캐시 축출 (Eviction)
무한한 텍스트 스트리밍 환경에서 GPU 메모리 고갈을 막기 위해 인간의 망각 메커니즘을 모사한 적응적 작업기억 축출 기술이 활용됩니다:
소프트맥스 정규화에 결정적인 문맥 극초반 4개 토큰(Attention Sink)과 최근 N개의 로컬 슬라이딩 윈도우 토큰만 작업 메모리에 유지하고 중간 토큰은 안전하게 퇴출하여 400만 토큰 이상을 끊김 없이 생성합니다.
어텐션 누적 점수가 상위 20%에 해당하는 핵심 토큰(Heavy Hitters)만을 선별 보존하고 기여도가 낮은 토큰 캐시를 동적 드롭하여, 정확도 손실 없이 단기 작업 메모리 풋프린트를 최대 80% 절감합니다.
🏗️ 4. LLM 에이전트의 다층 작업기억 관리 (CoALA, MemGPT/Letta)
CoALA(Cognitive Architectures for Language Agents) 프레임워크는 고전 인지 아키텍처(ACT-R, Soar)의 설계를 계승하여, 컨텍스트 윈도우를 '작업기억(Working Memory)'으로 정의하고, 외부 벡터 데이터베이스를 '일화/의미 장기기억'으로 엄격히 분리했습니다.
MemGPT / Letta는 운영체제의 계층적 가상 메모리(Paging & Swapping)를 LLM에 구현했습니다. 컨텍스트 한계에 도달하면 오래된 메시지를 자동으로 요약해 외부 데이터베이스로 스왑 아웃(Swap-out)시키고, 에이전트가 자율 함수 호출(Function Calling)을 통해 필요한 과거 지식만을 실시간 작업 기억으로 스왑 인(Swap-in)하는 능동적 단기기억 관리를 수행합니다.
📊 5. 인포그래픽: 인간 뇌 vs AI·LLM 단기기억 시스템 종합 비교
인간 뇌의 생체 단기기억 vs AI·LLM의 공학적 작업기억 스택
📋 인간 뇌 vs AI·LLM 단기기억 5대 핵심 축 종합 비교표
| 비교 기준 | 인간 뇌 (Human Brain) | 인공지능 & LLM (AI System) |
|---|---|---|
| 물리적 기반 | 전전두엽(PFC) 피라미드 뉴런 및 감각 피질 신경망 | GPU VRAM, HBM/SRAM 메모리 및 텐서 연산기 |
| 작동 메커니즘 | 지속적 활동 전위 발화, 세타-감마 결합, 단기 시냅스 촉진(STP) | 트랜스포머 셀프 어텐션 행렬 연산 및 KV 캐시 재사용 |
| 용량 한계 | 밀러 7±2 청크 (순수 주의 초점 내 약 4개 항목) | 컨텍스트 윈도우 크기 (수천 ~ 수백만 토큰, VRAM 제약) |
| 정보 파지 시간 | 시연 없이 약 15~30초 (주의 전환 시 즉각 소멸) | 단일 추론 런타임 동안 유지 (세션 종료 시 휘발) |
| 소거 및 축출 기제 | 순방향·역방향 간섭, 시간 경과 쇠퇴, 전두엽 능동 억제 | 슬라이딩 윈도우 축출, H2O 캐시 드롭, FIFO/LRU 퇴출 |
| 장기기억 전이 | 정교화 시연 및 해마-신피질 상보적 공고화 (수면 중 Replay) | RAG/벡터 DB 저장, 파인튜닝 가중치 학습, 외부 파일 기록 |