최근 AI에서 Attention이 주목받는 이유와 LLM에서의 활용
최근 AI 분야에서 어텐션(Attention) 메커니즘이 연구와 시스템 공학의 중심 과제로 재부상한 이유는 두 가지 상반된 압력 때문이다. 한편으로는 상태 공간 모델(SSM)이나 선형 어텐션 같은 대안 구조가 등장했음에도 문맥 내 정확한 정보 회상(Exact Recall)과 다중 홉 추론에서 Softmax 기반 어텐션의 강점이 재확인되었기 때문이며, 다른 한편으로는 추론(Reasoning) 모델과 에이전트 워크플로우의 확산으로 컨텍스트 길이가 폭증하면서 어텐션의 O(n2) 연산량과 시퀀스 길이에 비례해 커지는 KV 캐시(Key-Value Cache)가 현대 AI 인프라의 최대 병목으로 떠올랐기 때문이다.
대규모 언어 모델(LLM) 내부에서 어텐션은 단순한 단어 간 가중 평균 계산기를 넘어 복합적인 기능을 수행한다. 추론 과정에서는 과거 토큰을 재계산 없이 참조하는 메모리 버퍼(KV 캐시)를 형성하고, 층간 헤드 결합으로 퓨샷 학습(In-Context Learning) 회로를 구동하며, 멀티모달 토큰 융합과 프롬프트 인젝션 탐지 같은 보안 감사 계층에도 직접 활용된다. 다만 긴 컨텍스트를 입력할수록 성능이 떨어지는 '컨텍스트 부패(Context Rot)' 현상과 최적화 기법의 서빙 엔진 구현 의존성이 주요 한계로 지적되면서, 최근 LLM 설계는 어텐션 커널의 하드웨어 공동 설계(FlashAttention-4 등), 잠재 차원 압축(MLA)과 희소 어텐션(DSA), 선형 순환 층과 풀 어텐션을 3:1 비율로 섞는 하이브리드 구조로 정교하게 진화하고 있다.
SSM(Mamba 등)의 고정 크기 상태 한계를 딛고, 수만 토큰 중 단 하나의 바늘(Needle)을 찾는 연관 회상과 다중 홉 논리 추론에서 Softmax 어텐션의 필수성이 재입증됨.
OpenAI o1/o3, DeepSeek-R1 등 Long CoT 모델과 에이전트 다중 홉 호출로 KV 캐시가 수십~수백 GB로 폭증하여 GPU 메모리 대역폭이 최대 병목으로 대두됨.
전체 층의 75%는 고속 선형 순환 층(Gated DeltaNet/KDA)으로 처리하고, 25%의 Softmax 층에 MLA·DSA·Local-Global 인터리빙을 결합한 하이브리드로 진화.
1 최근 AI에서 Attention이 다시 핵심 화두로 떠오른 이유
1.1 순차 병목 해체와 정확 회상(Exact Recall) 능력의 재조명
2017년 구글 연구진이 발표한 "Attention Is All You Need" 논문은 순환 신경망(RNN)의 순차 처리 병목과 합성곱 신경망(CNN)의 국소 수용 영역 한계를 동시에 돌파하며 현대 AI의 기반을 열었다. RNN은 시퀀스를 한 단계씩 순차 처리해야 해 먼 토큰 간 경로 길이가 O(n)으로 늘어나고 병렬 학습이 어려웠으나, 셀프 어텐션(Self-Attention)은 모든 토큰 쌍의 상호작용을 단일 행렬 곱셈으로 처리해 최대 경로 길이와 순차 연산 횟수를 모두 O(1)로 단축하고 대규모 GPU 클러스터의 병렬 연산을 포화시킬 수 있게 만들었다. 시퀀스 길이 n에 따라 층당 연산 복잡도가 O(n2 · d)로 증가하는 대가가 따랐지만, 이미지 패치를 토큰화한 비전 트랜스포머(ViT)의 성과와 동일 학습 레시피 경계 안에서 모델 크기·데이터·연산량에 따른 멱법칙 스케일링 법칙(Kaplan et al. 2020; Chinchilla, Hoffmann et al. 2022)이 관측되면서 트랜스포머는 텍스트를 넘어 AI 전반의 범용 백본으로 자리 잡았다.
2023~2024년에는 O(n2) 복잡도를 피하기 위해 Mamba 등 상태 공간 모델(SSM)이나 선형 어텐션으로 어텐션을 전면 대체하려는 시도가 활발했으나, 결과적으로 어텐션 고유의 가치가 더욱 두드러졌다. 2024년 ICML에 발표된 "Repeat After Me" 연구는 고정 크기 메모리를 유지하는 모든 SSM이 잠재 상태 크기를 시퀀스 길이에 비례해 키우지 않는 한 임의의 긴 문자열 복사 작업을 풀 수 없음을 이론적으로 증명했다. 동일한 ~160M 파라미터 규모의 합성 복사 과제 실험에서 트랜스포머는 Mamba 계열보다 100배 적은 샘플로 복사를 학습했으며, The Pile로 사전 학습된 410M~2.8B 규모의 Pythia 트랜스포머와 Mamba를 비교한 문맥 내 전화번호부 조회(Phone-book lookup) 및 장문 단락 검색에서도 Pythia가 Mamba를 크게 앞섰다.
물론 접두사 키(Prefix-key) 기반 n-gram 조회 과제에서 Mamba가 표준 트랜스포머를 앞서거나, Mamba-2(SSD)가 상태 차원을 N=16에서 N=64~256+로 확장하며 SSM과 인과적 선형 어텐션을 수학적으로 통합하는 발전도 있었다. 그럼에도 고정 상태 압축은 새 입력이 들어올수록 과거 정보를 흐리게 만드는 '상태 크기 대 회상 정확도' 트레이드오프를 피하기 어려워, 정확한 검색과 다중 홉 추론을 위해 Softmax 어텐션을 보존하는 설계가 주류로 굳어졌다.
1.2 추론 모델과 에이전트 워크플로우가 촉발한 'KV 세금'
2024년 말부터 2026년 현재까지 AI 활용의 중심이 단발성 대화에서 테스트 타임 컴퓨트(Test-Time Compute) 기반 추론 모델과 다단계 에이전트로 이동하면서 어텐션의 메모리 비용이 폭발했다. OpenAI의 o1·o3·o4 계열, DeepSeek-R1, QwQ, Claude 및 Gemini의 확장 사고(Extended Thinking) 모델들은 최종 답변을 출력하기 전 수천 개에서 벤치마크 기준 최대 32K 토큰에 이르는 긴 사고 사슬(Long CoT)을 생성하며 자기 검증과 역추적을 수행한다. (다만 사고 토큰을 무작정 늘리면 비용 대비 수익이 체감하거나 쉬운 과제에서는 오히려 정확도가 하락할 수 있다는 연구 결과도 보고된다.) 또한 에이전트 시스템 프로파일링 연구에 따르면 ReAct, Reflexion, LATS, LLMCompiler 같은 도구 증강 에이전트는 단일 CoT 대비 요청당 평균 9.2배(트리 탐색을 쓰는 LATS는 평균 71.0회) 더 많은 LLM 호출을 발생시킨다.
긴 사고 과정과 반복적인 도구 호출이 이어지면 과거 토큰의 키(Key)와 값(Value) 벡터를 유지하는 KV 캐시가 GPU 메모리를 잠식하고 처리량을 제한하는 'KV 세금(KV Tax)'이 심화된다. 에이전트 단일 요청 실행 분석에서 GPU가 LLM을 실행하는 시간 중 입력 처리(Prefill) 비중은 4.7%에 불과한 반면 토큰을 하나씩 생성하는 디코드(Decode) 단계는 74.1%를 차지했고(외부 도구 대기 유휴 시간은 전체 실행의 최대 54.5%), 디코드 단계는 매 토큰 생성 시 모델 가중치와 누적된 전체 KV 캐시를 메모리에서 다시 읽어야 해 메모리 대역폭 병목에 걸리기 쉽다. 이 때문에 2025~2026년 LLM 아키텍처 경쟁의 핵심은 파라미터 수 축소보다 장문맥 추론 시 KV 캐시 크기와 메모리 트래픽을 낮추는 데 모아지고 있다.
1.3 비대칭 하드웨어 스케일링과 어텐션 커널 공동 설계
최신 AI 가속기의 세대교체가 어텐션 내부 연산의 병목을 이동시킨 점도 주목할 배경이다. GPU 세대가 진화하면서 행렬 곱셈을 담당하는 Tensor Core 처리량은 급격히 늘었지만, 온칩 공유 메모리(SMEM) 대역폭이나 지수함수(exp)를 처리하는 다기능 유닛(MUFU) 속도는 거의 정체되는 비대칭 하드웨어 스케일링(Asymmetric Hardware Scaling)이 심화되었다. FlashAttention-4 논문 분석에 따르면 NVIDIA Blackwell(B200) GPU에서 Tensor Core가 SM당 클럭당 8,192 FLOPs를 처리하는 동안 MUFU는 클럭당 16개 연산만 처리해 512배의 격차가 발생하며, 헤드 차원 128 기준 순전파에서는 행렬 곱셈 대비 지수 연산 비율이 1:512 수준이므로 결과적으로 Softmax 지수 계산이 행렬 곱셈과 맞먹는 시간을 소모하는 병목이 된다.
이러한 하드웨어 특성을 극복하기 위한 커널 공동 설계(Co-Design)가 빠르게 고도화되었다. Hopper H100의 비동기 실행과 FP8을 활용해 FlashAttention-2 대비 1.5–2.0배 속도 향상(FP16 최대 740 TFLOPs/s로 이론 최대의 75% 활용, FP8 약 1.2 PFLOPs/s 근접)을 이룬 FlashAttention-3에 이어, 2026년 3월 공개된 FlashAttention-4는 B200 환경에 맞춰 128×128 대형 타일, Tensor Memory(TMEM) 누산기 활용, 일반 FMA 유닛을 통한 다항식 지수 근사, 불필요한 정규화 보정을 줄이는 조건부 리스케일링을 결합했다.
Python 기반 CuTe-DSL로 구현되어 기존 C++ 템플릿 대비 컴파일 시간을 20–30배 단축한 FlashAttention-4는 B200 BF16 벤치마크에서 최대 1,613 TFLOPs/s(이론 최대의 약 71%)를 기록하며 cuDNN 9.13 대비 최대 1.3배, Triton 구현 대비 최대 2.7배의 성능을 달성했다. 더 나아가 2026년 8월 공개된 엔비디아 연구진의 자율 진화 코딩 에이전트 프레임워크 AVO(Agentic Variation Operators) 리뷰에 따르면, B200 Non-Causal BF16 MHA 벤치마크에서 에이전트가 7일간의 무인 탐색으로 생성한 커널이 1,630 TFLOPs(32K 길이 최대 1,668 TFLOPs)에 도달해 동일 비교군의 cuDNN(1,611 TFLOPs)과 FlashAttention-4(1,620 TFLOPs)를 앞섰으며, 30분의 전이 적응만으로 GQA(Group=8)에서도 각각 최대 +7.0% 및 +9.3% 높은 처리량을 기록했다.
1.4 장문맥 신뢰성 위기: 컨텍스트 부패와 보안 취약점
최근 모델들이 128K에서 최대 10M 토큰에 달하는 입력 창을 내세우고 있으나, 어텐션이 장문맥 정보를 고르게 활용하지 못한다는 실증적 경고도 커지고 있다. Chroma Research가 2025년 Claude, GPT, Gemini, Qwen 계열 등 18개 주요 LLM을 대상으로 수행한 'Context Rot(컨텍스트 부패)' 연구에서는 입력 길이가 길어질수록 단순 단어 반복이나 대화 기억 검색(LongMemEval: 약 300토큰 집중 프롬프트 대비 약 113K 토큰 전체 대화)에서도 성능이 비균일하게 하락함이 확인되었다.
질문과 유사한 방해 문장(Distractor)이 1개만 추가되어도 정확도가 떨어지고 4개일 때 하락 폭이 커졌으며, Chroma 보고서를 분석한 자료에 따르면 논리적으로 매끄럽게 이어지는 배경 텍스트가 문장을 무작위로 섞은 텍스트보다 오히려 18개 모든 모델에서 더 큰 성능 저하를 유발했다. 또한 다른 연구(Du et al.)에서는 방해 토큰을 어텐션 연산에서 마스킹해 가리고 위치 인덱스만 남겨두어도 30K 토큰 구간에서 7.9% 이상의 정확도 하락이 관측되어, 시퀀스 길이 증가 자체가 어텐션 정밀도에 부담을 준다는 점이 보고되었다. 여기에 외부 문서나 웹페이지의 악성 명령어가 어텐션 헤드의 주의 집중을 탈취하는 간접 프롬프트 인젝션 위협까지 겹치면서, 어텐션 분포를 직접 해석·감시·제어하는 연구가 LLM 신뢰성과 보안의 핵심 분야로 떠올랐다.
다중 홉 추론의 Softmax 필수성
메모리 대역폭 포화 발생
Softmax exp 비대칭 병목 해체
프롬프트 인젝션 역추적 감시
2 LLM 내부에서의 Attention 기본 동작과 인지 회로
2.1 Causal Self-Attention, Multi-Head 구조, 그리고 RoPE·YaRN
디코더 전용(Decoder-only) LLM의 핵심 연산 단위는 미래 토큰을 가리는 인과적 멀티헤드 셀프 어텐션(Causal Multi-Head Self-Attention)이다. 입력 토큰 표현을 선형 투영해 쿼리(Q), 키(K), 밸류(V) 행렬을 만든 뒤, 각 위치의 토큰이 자기 자신과 이전 토큰들로부터 어떤 정보를 얼마나 반영할지 다음 수식으로 계산한다.
내적 값을 헤드 차원의 제곱근 √dk로 나누는 이유는 dk가 커질수록 내적 크기가 커져 Softmax가 기울기(Gradient)가 극도로 작은 포화 영역으로 밀리는 현상을 방지하기 위함이다. 마스크 행렬 M은 현재 위치보다 뒤에 있는 미래 토큰 열(j > i)을 -∞로 채워 Softmax 이후 확률이 0이 되게 함으로써 자기회귀 생성의 인과성을 보장한다.
단일 어텐션 헤드만 사용하면 서로 다른 의미·위치 관계를 평균 내어 표현력이 떨어지므로, LLM은 표현 공간을 h개 헤드로 쪼개어 병렬 어텐션을 수행한 뒤 결합(Concat 후 WO 투영)하는 Multi-Head Attention(MHA)을 사용한다. 학습 과정에서 각 헤드는 대명사와 선행 명사 연결, 동사와 주어 연결, 괄호 짝 맞추기 등 서로 다른 부분 공간(Subspace)의 역할을 별도 규칙 코딩 없이 자율적으로 분담한다.
어텐션 연산 자체는 입력 순서를 구별하지 못하므로 위치 인코딩이 필수다. 초기 트랜스포머는 사인·코사인 위치 벡터를 입력 임베딩에 더하는 방식을 썼으나, 현재 Llama, Qwen, Mistral, DeepSeek, Gemma 등 대부분의 LLM은 RoPE(Rotary Position Embedding)를 채택한다. RoPE는 임베딩을 더하는 대신 Q와 K 벡터의 인접한 2차원 좌표 쌍을 토큰 위치 m과 차원별 주파수 θd = b-2d/|D|에 비례하는 각도로 회전시킨다. 회전 행렬 R의 직교성과 가법성 덕분에 위치 m의 쿼리와 위치 n의 키를 내적하면 절대 위치가 상쇄되고 상대 거리 (n - m)만 남는다.
이 수학적 구조는 사전 학습된 컨텍스트 길이 L을 L'(s = L'/L배)로 확장할 때 그대로 활용된다. 모든 위치를 균일하게 압축해 근거리 해상도를 뭉개는 단순 위치 보간(PI)의 한계를 넘기 위해 제안된 YaRN(Peng et al., ICLR 2024)은 두 기법을 결합한다. 첫째, 파장 λd = 2π/θd가 학습 길이 L보다 훨씬 짧은 고주파(근거리) 차원은 회전 각도를 유지하고 저주파(장거리) 차원만 보간하며 중간 대역을 램프 함수로 연결하는 NTK-by-parts를 적용한다. 둘째, 컨텍스트가 길어질수록 Softmax 출력이 평탄해져(엔트로피 증가) 특정 토큰에 집중하지 못하는 문제를 풀기 위해 어텐션 로짓을 온도 파라미터 t로 나누는 온도 스케일링(√(1/t) = 0.1 ln(s) + 1)을 도입했다. 이 온도 스케일링은 Q/K 회전 임베딩 벡터 크기만 조정하면 추론 오버헤드 없이 적용 가능해, YaRN 논문 리뷰에 따르면 Llama-2 4K 모델을 384 A100 GPU시간 만에 128K까지 확장하는 효율을 보였다. 반면 어텐션 점수에서 거리에 비례하는 선형 패널티 -mh(i - j)를 직접 빼는 ALiBi 방식은 YaRN 등장 이후 다중 검색과 순서 보존 과제에서 RoPE 계열에 밀려 주류에서 물러났다.
2.2 Attention이 만들어내는 창발적 회로: Induction Heads와 인컨텍스트 러닝
LLM이 파라미터를 수정하지 않고도 프롬프트에 제시된 몇 개의 예시만으로 패턴을 이어 푸는 퓨샷 인컨텍스트 학습(ICL)의 주요 메커니즘 중 하나로 유도 헤드(Induction Heads)가 꼽힌다. Olsson 등(2022)이 어텐션 전용 트랜스포머 분석을 통해 규명한 이 회로는 두 층의 어텐션 헤드가 순차적으로 결합(Composition)해 작동한다.
시퀀스의 각 위치에서 바로 직전 토큰(t - 1)에 강하게 어텐션을 할당하여, 앞선 토큰의 정보를 현재 위치의 잔차 스트림(Residual Stream)에 복사·기록한다.
1층이 기록한 정보를 키(Key)로 읽는 K-Q 결합을 통해, 현재 토큰 [A]의 쿼리를 과거 문맥에서 [A] 직후에 왔던 [B] 위치의 키("내 직전 토큰이 [A]였다")와 매칭한다(Prefix Matching). 이후 과거의 [B]를 참조하고 출력 로짓에서 [B]의 확률을 높인다(Copying).
유도 헤드는 사전 학습 초반의 좁은 구간에서 갑작스러운 상전이(Phase Change)를 일으키며 형성되는데, 이 시점에 손실 곡선에 미세한 굴곡(Bump)이 생기고 문맥 후반부 예측 점수(500번째 토큰과 50번째 토큰 간 손실 차이)가 급격히 향상된다. 다만 후속 연구들은 유도 헤드가 ICL의 전부는 아님을 분명히 했다. 유도 헤드 예측 위치를 손실에서 제외한 HAPAX 학습 실험에서는 무작위 반복 복사 정확도가 66–89% 급락했음에도 비추출적·추상적(Abstractive) ICL 능력은 지연 없이 발현되었으며, Feucht 등(2025) 역시 번역 같은 의미적 유사 복사에서는 별도의 개념 유도 회로(Concept Induction Circuits)가 더 큰 인과적 역할을 한다는 점을 보였다. 대규모 모델에서는 이러한 회로들이 더 분산되어 함수 벡터 등 다른 활성화 공간 구조와 함께 작동한다.
2.3 Softmax 제약과 장문맥 병리: Attention Sink와 Lost in the Middle
어텐션이 문맥 내 필요한 정보를 선택하게 해주는 Softmax 정규화(∑j αij = 1)는 역설적으로 장문맥 처리의 고질적 편향을 낳기도 한다.
대표적인 사례가 어텐션 싱크(Attention Sink)다. 자기회귀 모델에서 현재 토큰이 이전 토큰들로부터 특별히 가져올 정보가 없을 때조차 Softmax 가중치 합은 반드시 1이 되어야 하므로, 모델은 모든 후속 토큰에서 접근 가능하고 의미 간섭이 적은 맨 앞의 초기 토큰(통상 최초 4개 토큰)에 잉여 어텐션 질량을 쏟아붓는 습성을 학습한다. Xiao 등(ICLR 2024, StreamingLLM)은 슬라이딩 윈도우 추론 시 이 초기 4개 어텐션 싱크 토큰을 캐시에서 밀어내면 어텐션 분포가 무너져 혼란도(Perplexity)가 폭증하지만, 초기 4개 싱크 토큰과 최근 윈도우 캐시만 함께 보존하면 Llama-2, Falcon, Pythia, MPT 등에서 재학습 없이도 400만 토큰 이상을 안정적으로 처리할 수 있음을 입증했다. 반면 Qwen3-Next처럼 어텐션 출력에 게이팅을 추가해 어텐션 싱크와 극단적 활성화(Massive Activations)의 형성 자체를 억제하려는 설계도 등장했다.
위치에 따른 정보 누락 역시 Softmax 예산 분배와 맞물려 있다. Liu 등(TACL 2024)은 다중 문서 질의응답에서 근거가 문맥의 시작이나 끝에 놓일 때보다 중간에 놓일 때 정확도가 크게 떨어지는 '중앙 상실(Lost in the Middle)' U자형 곡선을 보고했다. 다만 Chroma의 2025년 18개 모델 평가에서는 특정 단일 바늘 찾기 실험의 11개 삽입 위치 간에 뚜렷한 위치 편향이 관찰되지 않았으며, 대신 입력 길이가 늘어나면서 Softmax가 수많은 토큰에 얇게 분산되는 주의 희석(Attention Dilution)과 유사 방해 토큰의 경쟁이 겹쳐 정확도가 점진적으로 하락하는 양상이 두드러졌다. 즉 위치 편향의 형태는 과제의 구조에 따라 달라지지만, 긴 문맥이 어텐션의 신호 대 잡음비를 악화시킨다는 점은 일관되게 확인된다.
3 LLM 추론 파이프라인과 KV Cache 시스템 최적화
3.1 Prefill과 Decode의 이질적 병목과 자원 분리 (Disaggregated Prefill)
실제 추론 서빙에서 LLM의 어텐션은 단일 요청 안에서도 전혀 다른 하드웨어 특성을 갖는 Prefill(프리필)과 Decode(디코드) 두 단계로 실행된다. Prefill은 입력 프롬프트 전체 토큰을 한꺼번에 병렬 처리해 초기 KV 캐시를 생성하고 첫 출력 토큰을 준비하는 단계로, 거대한 행렬-행렬 곱셈(GEMM) 위주여서 산술 강도가 높은 연산 집약적(Compute-bound) 구간이며 첫 토큰 응답 시간(TTFT, 큐잉·네트워크 지연 포함)에 직접 영향을 준다. 반면 Decode는 캐시된 KV에 새 토큰의 KV만 덧붙여 한 스텝에 토큰 1개씩 생성하는 자기회귀 단계다.
배치 크기가 작을 때는 토큰 1개를 만들기 위해 모델 가중치 전체와 누적 KV 캐시 전체를 VRAM에서 읽어 들이는 GEMV 유사 연산이 되어 극심한 메모리 대역폭 병목(Memory-bandwidth-bound)에 빠지며, 토큰당 생성 시간(TPOT/TPS)을 결정한다. 동일 GPU에서 무거운 Prefill 요청과 진행 중인 Decode 요청을 함께 처리하면 Prefill이 연산기를 점유하는 동안 Decode가 멈칫하는 자원 간섭이 발생한다. 이를 풀기 위해 Splitwise, DistServe, P/D-Serve 같은 최신 추론 인프라는 Disaggregated Prefill 구조를 도입해 연산 성능 중심의 Prefill 전용 인스턴스와 메모리 대역폭 중심의 Decode 전용 인스턴스를 분리 배치하고, Prefill 완료 후 생성된 KV 캐시만 고속 인터커넥트(NVLink 등)로 전송해 처리량(Goodput)과 지연 목표(SLO)를 동시에 높인다.
3.2 커널·메모리·분산·재사용 계층별 Attention 최적화
표준 어텐션은 시퀀스 길이 N에 대해 중간에 N × N 점수 행렬을 생성하는데, BF16(요소당 2바이트) 기준으로 단일 헤드만 계산해도 시퀀스 길이 8,192에서 128.00 MiB에 달해 SM당 약 228 KiB 수준인 온칩 고속 메모리를 크게 초과한다. 이를 64개 헤드로 확장하면 중간 점수 행렬 크기만 시퀀스 길이 4,096에서 2.00 GiB, 8,192에서 8.00 GiB, 32,768(32K)에서 128.00 GiB, 131,072(128K)에서는 2,048.00 GiB(2 TiB)에 이르러 HBM 기록 자체가 불가능해진다. 이 같은 물리적 제약을 풀기 위해 LLM 서빙 스택은 계층별로 어텐션을 최적화한다.
| 최적화 계층 | 대표 기법 | 해결하는 병목 | 핵심 작동 원리 및 주요 효과 |
|---|---|---|---|
| 커널 / 온칩 메모리 | FlashAttention-1~4 | N × N 점수 행렬의 HBM 트래픽 및 비대칭 연산 유닛 병목 | 타일 분할과 온라인 Softmax로 HBM 기록 없이 SRAM/TMEM에서 완결; FA4는 B200 BF16에서 최대 1,613 TFLOPs/s 달성 |
| GPU VRAM 할당 | PagedAttention (vLLM) | 최대 길이 사전 할당에 따른 내부·외부 메모리 단편화 | 연속 공간 예약(실사용률 20–40%)을 OS 가상 메모리처럼 고정 크기 비연속 블록·페이지 테이블 관리로 대체해 배치 크기 확장 |
| 다중 GPU 분산 | Ring Attention, DeepSpeed Ulysses, USP | 단일 GPU 메모리 한계를 초과하는 수십만~수백만 토큰 처리 | 시퀀스를 GPU들에 분산 배치하고 링(Ring) 순환 또는 All-to-All(Ulysses) 통신을 블록 연산 뒤에 중첩해 1024 TPUv4 등에서 백만 토큰대 확장 |
| 요청 간 접두사 재사용 | Prefix Caching (RadixAttention 등) | 시스템 프롬프트·멀티턴 대화의 반복적 Prefill 재계산 | SGLang의 기수 트리(Radix Tree) 등으로 토큰 단위 공통 접두사의 KV 캐시를 보관하고 신규 토큰만 Prefill 수행 |
| 비(非)접두사 RAG 융합 | CacheBlend | RAG 환경에서 조합 순서가 바뀌는 문서 청크 간 크로스 어텐션 손실 | 사전 캐시된 청크의 위치 임베딩 보정 후 KV 편차가 큰 핵심 토큰만 선별 재계산하며 KV 로딩과 파이프라이닝 |
RAG 환경에서의 캐시 재사용은 특히 미묘한 트레이드오프를 수반한다. 기존 Prefix Caching은 프롬프트 맨 앞에 고정된 첫 번째 청크에만 유효하고 두 번째 청크부터는 앞선 청크와의 어텐션 맥락이 달라져 재사용할 수 없었다. 반면 위치 ID만 바꿔 독립 캐시된 청크를 그대로 붙이는 Full KV Reuse는 청크 간 상호 참조가 빠져 정확도가 하락한다.
EuroSys 2025에 발표된 CacheBlend는 인접 레이어에서 앞선 청크와 강하게 상호작용하는 토큰(KV Deviation이 큰 토큰)이 유사하게 유지된다는 점을 이용해 소수 토큰만 선별 재계산하고 다음 레이어 KV 로딩 유휴 시간과 겹쳐 TTFT와 품질을 함께 개선했다. 다만 CacheBlend 논문 리뷰는 재계산 비율을 15% 미만으로 낮추면 품질 하락이 커진다고 지적하며, 2026년 SIGMOD 논문(From Prefix Cache to Fusion RAG Cache) 역시 CacheBlend의 KV 편차 기반 선택 토큰이 실제 희소 어텐션이 중시하는 핵심 토큰과 불일치할 수 있음을 지적하며 대안을 모색하고 있다.
4 KV Cache를 길들이기 위한 최신 LLM Attention 아키텍처 진화
4.1 헤드 공유에서 저랭크 잠재 압축과 희소 어텐션으로: GQA, MLA, NSA·DSA
가장 널리 보급된 첫 번째 접근은 여러 쿼리 헤드가 소수의 KV 헤드를 공유하는 MQA(1개 KV 공유)와 GQA(그룹별 KV 공유)다. Llama 3.1 70B는 80개 레이어, 64개 쿼리 헤드, 헤드 차원 128 구성을 유지하면서 KV 헤드를 8개만 두는 GQA를 채택해, 128K 컨텍스트 기준 BF16 KV 캐시를 동일 규모 MHA(320.00 GB) 대비 8분의 1인 40.00 GB로 줄였다. GQA는 구현이 단순하고 기존 체크포인트 변환이 쉬워 Qwen3.8 등 다수 모델에서 여전히 쓰이지만, KV 헤드 공유 폭을 과도하게 넓히면 표현력 제약으로 품질 손실이 나타날 수 있다.
DeepSeek-V2와 DeepSeek-V3(총 671B / 활성 37B MoE, 61개 레이어, 128개 헤드)가 도입한 MLA(Multi-Head Latent Attention)는 헤드 수를 줄이는 대신 저장하는 차원을 저랭크(Low-rank) 잠재 공간으로 공동 압축하는 해법이다. 한 층의 모든 헤드 K·V가 동일한 입력 은닉 상태 ht에서 투영되므로 헤드 간 정보 중복이 크다는 점에 착안하여, 이를 저차원 잠재 벡터 ctKV(kv_lora_rank = 512)로 하향 투영해 이것만 캐시한다.
추론 시 매번 ctKV를 복원해 거대한 K·V를 만들면 연산량이 늘어나지만, MLA는 행렬 곱셈의 결합법칙을 이용해 키 복원 행렬 WUK를 쿼리 투영 WQ 쪽으로, 밸류 복원 행렬 WUV를 출력 투영 WO 쪽으로 미리 결합하는 가중치 흡수(Weight Absorption)를 통해 K와 V를 복원하지 않고도 캐시된 ctKV만으로 직접 어텐션을 계산한다. 단, 토큰 위치마다 달라지는 RoPE 회전 행렬은 가중치 흡수와 양립할 수 없으므로, DeepSeek은 내용 차원(nope)과 별도로 모든 헤드가 공유하는 위치 전용 키(rope, 차원 64)를 쪼개어 붙이는 분리된 RoPE(Decoupled RoPE)를 적용해 토큰·레이어당 512 + 64 = 576 요소만 저장한다. (단, 서빙 엔진이 가중치 흡수를 직접 구현하지 않으면 매 스텝 업 투영이 돌아 속도 이득이 상쇄되므로 엔진 지원 여부가 필수다.)
이 설계는 128개 헤드의 표현력을 유지하면서도 저장량을 GQA 2.25개 그룹 수준으로 낮추어, 동일 61층·128헤드·차원 128 MHA 설정(128K 기준 488.00 GB) 대비 KV 캐시를 98.24% 줄인 8.58 GB로 압축한다. (DeepSeek-V2 논문에 널리 인용된 "KV 캐시 93.3% 감소 및 최대 처리량 5.76배"는 이전 세대 MHA 모델인 DeepSeek 67B와 비교한 시스템 수치다.) 더 나아가 DeepSeek은 2025년 ACL에 발표한 NSA(Native Sparse Attention)를 거쳐, DeepSeek-V3.2에서는 MLA 위에 경량 스코어러인 '라이트닝 인덱서(Lightning Indexer)'를 얹어 128K 전체 토큰 중 중요한 토큰만 골라 어텐션을 계산하는 DSA(DeepSeek Sparse Attention)로 O(n2) 연산 부담까지 공략했다.
4.2 계층별 범위 제한과 공유: Local-Global 인터리빙, iRoPE, KV 공유
모든 레이어가 전체 시퀀스를 참조할 필요가 없다는 관찰을 바탕으로 레이어 간 역할을 나누거나 캐시를 공유하는 전략도 확산되고 있다. Google DeepMind의 Gemma 3(2025년 3월)는 5개의 로컬 슬라이딩 윈도우 어텐션(1,024 토큰 범위) 레이어마다 1개의 글로벌 풀 어텐션(128K 범위) 레이어를 섞는 5:1 인터리빙 구조를 도입했다. 예를 들어 Gemma 3 27B(총 62층: 로컬 52층·글로벌 10층, 16 KV 헤드, 차원 128)는 로컬 52층의 KV 캐시가 1,024 토큰에서 상한에 도달하므로 128K 컨텍스트 기준 BF16 KV 캐시가 전체 글로벌 가정 시(62.00 GB) 대비 83.22% 줄어든 10.41 GB로 억제되어 소비자급 단일 GPU에서도 장문맥 추론이 가능해진다. 후속작 Gemma 4를 분석한 기술 논의에 따르면, Gemma 4는 여기에 더해 후반부 레이어(E2B 35층 중 20층, E4B 42층 중 18층)가 자체 K·V를 계산하지 않고 같은 유형을 가진 직전 레이어의 K·V 텐서를 그대로 재사용하는 크로스 레이어 KV 공유까지 도입했다.
Meta의 Llama 4(2025년 4월)는 iRoPE(Interleaved RoPE) 구조로 초장문맥 일반화를 공략했다. iRoPE는 표준 RoPE를 적용한 로컬 어텐션 층과 위치 회전 임베딩을 아예 생략한 NoPE(No Position Embedding) 글로벌 어텐션 층을 교차 배치하고, 추론 시 어텐션 온도 스케일링을 결합해 Llama 4 Scout(활성 17B / 총 109B MoE)가 최대 10M 토큰 컨텍스트 창을 지원하도록 설계했다.
아래 표는 배치 크기 1, 단일 요청의 순수 BF16(요소당 2바이트) KV 캐시 이론 계산치를 이진 GB(GiB) 기준으로 비교한 결과다.
| 모델 / 아키텍처 설정 | 레이어 및 어텐션 구성 | 32K (32,768) KV 캐시 | 128K (131,072) KV 캐시 | 동일 헤드 MHA 대비 절감률 |
|---|---|---|---|---|
| 가상 80층 MHA (64 KV 헤드, 차원 128) | 전 층 표준 MHA | 80.00 GB | 320.00 GB | 기준 (0%) |
| Llama 3.1 70B (GQA) | 80층, 64Q / 8 KV 헤드, 차원 128 | 10.00 GB | 40.00 GB | 87.50% (8배 축소) |
| 가상 80층 MQA (1 KV 헤드, 차원 128) | 80층, 64Q / 1 KV 헤드, 차원 128 | 1.25 GB | 5.00 GB | 98.44% (64배 축소) |
| 가상 61층 MHA (128 KV 헤드, 차원 128) | 전 층 표준 MHA | 122.00 GB | 488.00 GB | 기준 (0%) |
| DeepSeek-V3 (MLA) | 61층, 잠재 차원 dc=512, 분리 RoPE dr=64 | 2.14 GB | 8.58 GB | 98.24% |
| 가상 Gemma 3 27B All-Global | 62층 전체 글로벌, 16 KV 헤드, 차원 128 | 15.50 GB | 62.00 GB | 기준 (0%) |
| Gemma 3 27B (5:1 Local/Global) | 52 로컬(윈도우 1,024) : 10 글로벌, 16 KV | 2.91 GB | 10.41 GB | 83.22% (128K 기준) |
4.3 선형 순환 상태와 Softmax Attention의 하이브리드 수렴
2025~2026년 프론티어 오픈 웨이트 모델들의 가장 뚜렷한 구조적 흐름은 전체 레이어의 75–90%를 KV 캐시가 늘어나지 않는 선형 어텐션·SSM으로 대체하고, 10–25%의 레이어에만 Softmax 풀 어텐션을 배치하는 하이브리드 어텐션이다. 특히 알리바바의 Qwen3-Next(2025년 9월), Qwen3.5(2026년 2월), Qwen3.8-Max(2026년 8월)와 Moonshot AI의 Kimi Linear·Kimi K3가 채택한 3:1 비율(선형 3층 : 풀 어텐션 1층)이 대표적인 표준 패턴으로 자리 잡았다.
Qwen3-Next의 선형 층인 Gated DeltaNet은 고정 크기 행렬 상태 St에 망각 게이트 αt ∈ (0, 1)와 델타 규칙(Delta Rule) 가중치 βt를 결합해 다음과 같이 상태를 갱신한다.
단순 가산형 선형 어텐션은 메모리 공간이 차면 기존 정보가 흐려지지만 델타 규칙은 같은 키의 옛 값을 지우고 새 값으로 덮어쓰며, Kimi Delta Attention(KDA)은 여기서 나아가 헤드당 1개가 아니라 채널마다 별도 망각 게이트를 두어 상태 제어력을 세분화했다. 2026년 10월 공개된 한 기술 벤치마크 분석에 따르면 시퀀스 길이가 512에서 65,536(128배)으로 늘 때 Softmax 어텐션 층은 8,600배 느려진 반면 순환 선형 층은 124배만 느려져 8K–16K 사이에서 역전되고 65K에서는 4.2배 빨랐다. 또한 Qwen3-Next는 남은 25%의 Softmax 어텐션 층에서도 위치 차원의 앞 25%에만 RoPE를 적용해 외삽을 개선하고 출력 게이팅으로 안정성을 높였다.
그럼에도 하이브리드 모델들이 끝내 10–25%의 Softmax 어텐션을 유지하는 이유는 단 1개 층의 Softmax 어텐션만 있어도 문맥 내 수만 토큰 중 정확한 키-값 쌍을 다시 찾아오는 연관 회상과 다중 홉 추론을 해결할 수 있기 때문이다. 반대로 초기 7:1 하이브리드였던 MiniMax-01은 장문맥 정밀 검색과 다중 홉 추론의 결함 때문에 후속 모델에서 풀 어텐션으로 선회했으며, 소형 모델 규모를 평가한 2026년 한 논문에서는 Qwen3.5-2B(하이브리드)가 적응 학습 전 7개 벤치마크 모두에서 Qwen3-1.7B(풀 어텐션)보다 낮은 점수를 기록하기도 했다. 한편 2026년 8월 공개된 Qwen3.8-Flash-Next는 3:1 구조 속 남은 25%의 풀 어텐션마저 희소 어텐션으로 바꾸고, DeepSeek-V4는 순환 층 대신 두 종류의 시퀀스 차원 압축 어텐션(CSA·HCA)을 조합하는 등 마지막 남은 KV 캐시 증가분까지 줄이려는 경쟁이 이어지고 있다.
| 모델 (공개 시점) | 선형 / SSM 메커니즘 | 선형 : 어텐션 비율 | 규모 (총 / 활성) | 컨텍스트 길이 | 보고된 주요 효율 및 특성 (출처 성격) |
|---|---|---|---|---|---|
| Jamba (2024.03) | Mamba-1 | 7 : 1 (32층 중 4층) | 52B / 12B | 256K | 256K 기준 캐시 약 4 GB(Mixtral 32 GB 대비); 순수 Mamba의 형식 추종 실패 보완 (모델 보고) |
| MiniMax-01 (2025.01) | Lightning Attention | 7 : 1 (80층) | 456B / 45.9B | 학습 1M / 추론 4M | 순수 선형 어텐션의 제한된 검색 능력 보완; 이후 정밀 검색 결함으로 풀 어텐션 재도입 (모델 보고·분석) |
| Qwen3-Next (2025.09) | Gated DeltaNet | 3 : 1 (36 : 12, 총 48층) | 80B / 3B | 256K+ | 32K 초과 시 Qwen3-32B 대비 추론 처리량 10배 이상 및 학습 비용 10% 미만 보고 (벤더 보고) |
| Granite 4.0 (2025.10) | Mamba-2 | 9 : 1 | 32B / 9B | 장문맥 지원 | 장문맥 RAM 사용량 70% 이상 절감; 퓨샷 등 ICL 유지를 위해 어텐션 보존 (벤더 보고) |
| Kimi Linear (2025.10) | Kimi Delta Attention | ~3 : 1 (20 KDA : 7 Gated MLA) | 48B / 3B | 1M | KV 캐시 최대 75% 절감 및 1M 컨텍스트 디코딩 처리량 최대 6배 보고 (모델 논문) |
| Nemotron 3 Nano (2025.12) | Mamba-2 | 52층 중 어텐션 6층 | 30B / 3B | 1M | GPT-OSS-20B·Qwen3-30B-A3B 대비 처리량 최대 3.3배 보고 (벤더 보고) |
| Qwen3.5-397B-A17B (2026.02) | Gated DeltaNet | 3 : 1 (45 : 15, 총 60층) | 397B / 17B | 기본 262K / 확장 1M | 3:1 하이브리드와 통합 비전-언어 Early Fusion을 주력 플래그십 라인업으로 확립 (모델 공개·분석) |
| Kimi K3 (2026.07) | Kimi Delta Attention | ~3 : 1 (69 : 24, 총 93층) | 2.8T / 104B | 1M | 초대규모 3:1 KDA+어텐션 하이브리드 확장 (모델 공개) |
| Qwen3.8-Max (2026.08) | Gated DeltaNet | 3 : 1 (69 : 23, 총 92층) | 2.4T / 95B | 기본 262K / 확장 1M | 동시기 Qwen3.8-Flash-Next는 잔여 풀 어텐션 1/4마저 희소 어텐션으로 대체 시도 (논문·공개 자료) |
5 텍스트 너머의 확장: 멀티모달 융합과 보안 방어에서의 Attention 활용
5.1 멀티모달 LLM: Cross-Attention 어댑터 대 통합 Self-Attention
이미지·영상·오디오를 텍스트와 함께 처리하는 멀티모달 LLM(MLLM)에서 어텐션은 서로 다른 모달리티를 결합하는 핵심 통로다. 초기 Flamingo, BLIP, 그리고 Llama 3.2 Vision이 채택한 Cross-Attention(교차 어텐션) 아키텍처에서는 비전 인코더(ViT)가 이미지 특징을 한 번 추출해 읽기 전용 KV 메모리로 노출하면, LLM 내부에 별도로 삽입된 교차 어텐션 층에서 텍스트 쿼리(Q)가 시각 정보를 조회하는 방식으로 작동한다.
동결된 언어 백본을 훼손하지 않는 장점이 있으나, 새로 초기화해 학습해야 할 교차 어텐션 파라미터가 많다는 한계가 있다(Laurençon 등 2024년 비교에서 Mistral-7B+SigLIP-SO400M 기준 교차 어텐션 모델은 총 10B 중 2.5B를 새로 초기화한 반면 셀프 어텐션 결합 모델은 8.3B 중 740M만 새로 초기화했다).
현재 주류가 된 통합 Self-Attention 및 초기 융합(Early Fusion) 아키텍처(LLaVA, Qwen-VL 계열, Llama 4, Qwen3.5 등)는 시각·오디오 토큰을 언어 임베딩 공간으로 사영해 텍스트 토큰과 하나의 시퀀스로 연결한 뒤 LLM의 단일 Self-Attention 백본에 함께 통과시킨다. 특히 Llama 4와 Qwen3.5는 사전 학습부터 멀티모달 토큰을 함께 학습하는 Early Fusion으로 진화했으며, Qwen2-VL은 가변 해상도와 영상 시간 축을 반영하기 위해 3차원 좌표를 회전시키는 MRoPE를 적용했다.
다만 MLLM에서는 단일 이미지의 KV 캐시만 약 1 GB에 달할 정도로 시각 토큰이 연산과 메모리를 지배하기 쉽기 때문에, Qwen-VL·Idefics2처럼 어댑터 단계에서 1층짜리 교차 어텐션이나 Perceiver Resampler로 시각 토큰을 압축하거나(Gemma 3는 이미지당 256개 벡터로 압축), 문서 OCR처럼 고해상도 세부가 필요할 때만 Pan & Scan이나 이미지 분할로 토큰 수를 늘리는 절충 전략이 쓰인다.
5.2 프롬프트 인젝션 탐지와 문맥 역추적
RAG와 에이전트 환경에서 어텐션은 모델 보안 방어의 직접적인 관측 센서로도 활용된다. LLM은 시스템 개발자가 작성한 신뢰된 지시문과 웹·이메일·검색 문서에서 유입된 신뢰할 수 없는 외부 데이터를 구별하지 못한 채 단일 토큰 시퀀스로 직렬화해 어텐션에 통과시킨다. 이때 외부 텍스트에 악성 명령을 심어 넣는 간접 프롬프트 인젝션(Indirect Prompt Injection)이 작동하면, LLM 내부의 특정 '중요 어텐션 헤드(Important Heads)'들이 원래의 지시문에서 주의력을 떼어 주입된 명령어로 쏠리는 주의 분산 효과(Distraction Effect)가 일어난다.
Hung 등(NAACL 2025 Findings)이 제안한 Attention Tracker는 별도의 추가 LLM 호출이나 탐지 모델 파인튜닝 없이 추론 중 중요 헤드가 원래 지시문에 할당하는 주의 집중도 점수(Focus Score)의 하락만 추적해 인젝션 공격을 적발하며, 원 논문에서 기존 탐지기 대비 최대 10.0%의 AUROC 향상을 보고했다. 후속 비교 평가 논문에서도 Attention Tracker는 실제 응답에 영향을 미친 성공적 인젝션을 정상 입력과 분리하는 AUROC가 Qwen에서 0.949, Gemma에서 0.887로 실험 대상 기법 중 가장 일관되게 높았다.
같은 원리를 RAG 감사에 적용한 AttnTrace(2025)는 생성된 출력 토큰(Y)이 각 입력 문서 청크(Xi)에 부여한 평균 어텐션 가중치를 역추적해, 거대한 RAG 문맥 속에서 오답이나 조작을 유도한 오염 텍스트를 식별하는 데 활용된다(다만 공격자가 어텐션 가중치 자체를 교란하는 적응형 공격에 대한 방어는 계속 연구 중인 과제다).
6 종합: 희소 자원이 된 Attention의 관리
오늘날 어텐션은 모든 레이어와 모든 토큰에 무차별적으로 적용하는 값비싼 기본 연산에서 벗어나, 정확한 정보 회상과 퓨샷 추론이 필요한 지점에 정교하게 배분하고 시스템 차원에서 관리해야 하는 희소 자원으로 재정의되고 있다.
하드웨어 측면에서는 B200 같은 가속기의 비대칭적 확장에 맞춘 커널 파이프라이닝과 자율 에이전트 기반 커널 최적화가 연산 한계를 끌어올리고 있으며, 아키텍처 측면에서는 저랭크 잠재 압축(MLA), 인덱서 기반 희소 어텐션(DSA), 크로스 레이어 KV 공유, 그리고 Gated DeltaNet·Mamba-2와 10–25%의 Softmax 어텐션을 결합한 하이브리드 설계가 거대한 컨텍스트 비용을 통제하고 있다.
동시에 컨텍스트 창 크기만 키우는 것으로는 Context Rot이나 주의 분산 공격을 막을 수 없다는 실증이 쌓이면서, 향후 LLM의 실질적 경쟁력은 제한된 어텐션 예산을 필요한 근거와 신뢰할 수 있는 지시문 안에 얼마나 밀도 높게 집중시키느냐에 의해 좌우될 전망이다.
비대칭 연산 격차(Tensor Core vs MUFU)를 극복하는 FlashAttention-4와 AVO 에이전트 무인 커널 합성.
선형 순환 층(75%)으로 O(1) 상태를 갱신하고, Softmax 층(25%)에 MLA 저랭크 가중치 흡수를 적용해 KV 세금 98% 절감.
장문맥 주의 희석(Context Rot) 방어 및 Attention Tracker 기반의 간접 프롬프트 인젝션 실시간 감시.