AI Study
폰 노이만 순차 구조를 넘어 초병렬·메모리 중심의 AI & LLM 시대로의 아키텍처 대혁명

컴퓨터 구조 (Computer Architecture)

인공지능(AI) 관점에서 컴퓨터 아키텍처(Computer Architecture) 란 대규모 AI 모델의 복잡한 행렬 연산과 데이터 처리를 가장 빠르고 효율적으로 수행할 수 있도록 하드웨어와 소프트웨어의 인터페이스를 설계하는 구조를 의미합니다.
과거의 컴퓨터 아키텍처가 CPU 중심의 순차적인 범용 연산에 집중했다면, AI 시대의 컴퓨터 아키텍처는 딥러닝 워크로드(학습 및 추론) 를 저전력으로 초고속 처리하는 도메인 특화 아키텍처(DSA, Domain-Specific Architecture) 로 패러다임이 완전히 전환되었습니다.
AI와 컴퓨터 아키텍처의 관계는 크게 세 가지 핵심 관점으로 나누어 이해할 수 있습니다.

1. AI를 '위한' 아키텍처 (하드웨어 및 인프라 혁신)

AI 모델(예: LLM) 은 수십억 개의 매개변수를 수반하는 대규모 병렬 처리와 행렬 연산을 요구합니다. 이를 뒷받침하기 위해 AI 중심의 하드웨어 아키텍처가 발전하고 있습니다.

  • 가속기 중심 설계: CPU의 성능 향상이 정체되면서 GPU, TPU, NPU(신경망처리장치)처럼 AI 연산에만 특화된 칩이 아키텍처의 중심이 되었습니다.
  • 메모리 병목 해결 (HBM): 데이터 이동 과정에서 발생하는 병목을 줄이기 위해 고대역폭 메모리(HBM)를 프로세서와 수직으로 적층하여 데이터 전송 속도를 극대화합니다.
  • AI 공장(AI Factory)으로서의 데이터 센터: 대규모 인프라 아키텍처 측면에서 단일 칩을 넘어 초고속 네트워킹으로 수만 대의 가속기를 하나로 묶어 연산하는 클라우드 및 데이터 센터 아키텍처가 필수가 되었습니다.
2. AI가 '이해하기 쉬운' 소프트웨어 아키텍처

최근에는 AI 코딩 에이전트(GitHub Copilot 등) 가 코드를 분석하고 시스템을 설계하는 일이 흔해졌습니다. 이에 따라 소프트웨어 엔지니어링 진영에서는 AI가 협업하기 좋은 구조를 만드는 것이 새로운 아키텍처적 지향점으로 떠오르고 있습니다.

  • 맥락의 단순화: AI는 제한된 토큰(Context Window) 내에서 코드를 이해해야 하므로, 하나의 단위가 하나의 책임만 갖는 극도로 단순하고 모듈화된 구조가 좋은 아키텍처가 됩니다.
  • 숨은 상태(Hidden State) 제거: 직관적이고 명시적인 데이터 흐름을 설계하여 AI가 부수 효과(Side Effect)를 쉽게 예측하고 코드를 제어할 수 있도록 합니다.
3. AI가 '직접 설계하는' 아키텍처 (AI for Architecture)

AI 모델 자체가 컴퓨터 아키텍처 및 시스템을 최적화하는 주체로 진화하고 있습니다. 언어 모델 기반의 에이전트가 인간 대신 복잡한 하드웨어 설계 공간을 탐색하고 아키텍처를 최적화하는 데 기여합니다.

  • 설계 자동화: 칩 레이아웃 배치, 컴파일러 최적화, 최적의 하드웨어/소프트웨어 조합(Co-design) 탐색을 AI 에이전트가 인간보다 훨씬 빠른 속도로 수행합니다.

명령어 집합 구조(ISA)와 마이크로아키텍처의 고전적 원리부터, 인공지능(AI) 연산에 최적화된 초병렬·저정밀·메모리 중심 컴퓨터 설계, 그리고 최신 대규모 언어 모델(LLM) 시대가 요구하는 핵심 하드웨어·소프트웨어 풀스택까지 체계적으로 조망합니다.

#Computer_Architecture #AI_Optimized_Hardware #LLM_Infrastructure #HBM_Memory_Wall #FlashAttention_vLLM
Section 01

AI에게 최적화된 컴퓨터는 어떤 구조인가?

단일 명령어를 순서대로 빠르게 처리하던 '범용 폰 노이만 CPU'에서, 수조 개의 가중치 행렬과 데이터 흐름을 동시 다발적으로 뿜어내는 'AI-Native 아키텍처'로의 전환입니다.

지난 70여 년간 컴퓨터 구조는 존 폰 노이만(John von Neumann)의 프로그램 내장형 모델—즉, 제어 유닛이 메모리에서 명령어를 하나씩 가져와(Fetch) 해독하고(Decode) 순차 실행(Execute)하는 구조—를 중심으로 발전해 왔습니다. 범용 CPU는 복잡한 조건 분기(if-else), 운영체제 스케줄링, 낮은 지연 시간(Low Latency) 처리에는 탁월하지만, 딥러닝 신경망처럼 "분기는 거의 없고 단순한 행렬 곱셈·덧셈(GEMM)만 수천억 번 반복하는" 워크로드 앞에서는 치명적인 비효율과 메모리 장벽(Memory Wall)에 부딪힙니다.

설계 기준 전통적 범용 컴퓨터 (CPU 중심) AI 최적화 컴퓨터 (GPU / TPU / NPU 중심)
연산 철학 소수 고성능 코어의 초고속 순차 실행 (Latency 최적화) 수만 개 단순 코어의 초병렬 행렬 처리 (Throughput 최적화)
칩 면적 배분 대규모 캐시(L1/L2/L3)와 분기 예측·제어 로직이 면적의 대다수 차지 제어 로직을 극소화하고 면적 대부분을 텐서 코어 / 시스톨릭 어레이(MAC)에 할당
수치 정밀도 FP64 / FP32 / INT64 중심의 엄격한 정밀 계산 AI 내성을 활용한 BF16 / FP16 / FP8 / INT4 저정밀 혼합 연산
메모리 계층 DDR5 등 대용량이지만 대역폭이 좁은 시스템 DRAM (수십 GB/s) 3D 수직 적층 HBM(고대역폭 메모리) & 초대용량 온칩 SRAM (수 TB/s)
확장(Scaling) 구조 단일 노드 멀티소켓 중심, 이더넷 기반 느슨한 연결 수만 대 칩을 단일 거대 컴퓨터처럼 묶는 NVLink · InfiniBand 패브릭

1. 행렬 특화 연산기 (Systolic & Tensor)

하나의 숫자가 아닌 거대한 2차원 행렬(Matrix) 타일을 단 1클럭 사이클에 통째로 곱하고 더하는 텐서 코어(Tensor Core)와 Google TPU의 시스톨릭 어레이(Systolic Array) 구조로 메모리 재접근 없이 데이터를 연산기끼리 직접 흘려보냅니다.

2. 메모리 장벽 돌파 (HBM & PIM)

연산 속도가 아무리 빨라도 데이터를 실어 나르는 도로가 좁으면 칩은 굶주립니다. 3D 적층 HBM으로 수 TB/s 대역폭을 뚫고, 나아가 메모리 칩 내부에 연산기를 심는 PIM(Processing-in-Memory) 및 대용량 온칩 SRAM(Wafer-Scale / LPU)으로 진화하고 있습니다.

3. 저정밀·양자화 연산 (FP8 / INT4)

신경망은 미세한 수치 잡음에 강인합니다. 64비트 대신 BF16, FP8, INT4 등 낮은 비트 정밀도를 네이티브로 지원함으로써, 같은 실리콘 면적과 전력으로 연산 처리량과 메모리 효율을 4배~16배까지 폭증시킵니다.

4. 데이터 중심 컴퓨팅 & 비동기 파이프라인

데이터가 오기를 기다리며 놀지 않도록 연산과 메모리 전송을 겹쳐 실행(Double Buffering & DMA 비동기 전송 엔진)하고, 희소성(Sparsity: 0인 가중치 건너뛰기)을 하드웨어 레벨에서 가속합니다.

5. 클러스터 스케일의 단일 시스템화 (AI Supercomputer)

최신 AI에게 '컴퓨터 한 대'는 책상 위 본체 하나가 아니라 "데이터센터 전체가 하나의 컴퓨터(Datacenter as a Computer)"입니다. 칩 내부(NoC) ➔ 보드 내 다중 GPU(NVLink) ➔ 랙 간 초고속 스위치(NVSwitch) ➔ 클러스터 간 RDMA 네트워크(InfiniBand/RoCE)가 하나의 거대한 통합 메모리 공간처럼 동작합니다.

Section 02

최신 LLM 시대에 컴퓨터는 어떤 하드웨어를 필요로 하는가?

트랜스포머(Transformer) 기반 거대 언어 모델의 학습(Training)과 추론(Prefill/Decode)은 서로 다른 하드웨어 자원을 극한까지 몰아붙입니다.

⚡ LLM 연산의 이중 병목 원리 (Compute-Bound vs Memory-Bound)

• 학습 및 프롬프트 읽기(Prefill) 단계: 입력 문장 전체를 한꺼번에 행렬 곱셈하므로 연산 성능(TFLOPS)이 병목입니다.
• 단어 생성(Decode / Inference) 단계: 토큰을 단 1개 생성할 때마다 수백 GB에 달하는 모델 가중치와 이전 대화 문맥(KV Cache)을 메모리에서 모조리 읽어와야 하므로, 칩의 계산 속도가 아니라 메모리 용량과 메모리 대역폭(GB/s ~ TB/s)이 전체 생성 속도를 결정합니다.

🚀 1. AI 가속기 (GPU · TPU · LPU · NPU)

  • 데이터센터 학습·추론: NVIDIA Hopper/Blackwell, AMD Instinct MI 시리즈, Google TPU처럼 FP8/FP4 트랜스포머 엔진을 내장한 초고성능 가속기가 필수입니다.
  • 추론 특화 & 엣지: 칩 내 초고속 SRAM을 극대화한 Groq LPU, 혹은 PC·스마트폰 내부에서 저전력으로 상시 동작하는 NPU(Neural Processing Unit)가 필수 탑재됩니다.

💾 2. 초대용량·초고대역폭 메모리 (HBM & Unified Memory)

  • VRAM 용량의 절대적 중요성: 예를 들어 70B(700억) 파라미터 모델을 16비트로 올리려면 가중치만 약 140GB가 필요하며, 수십만 토큰의 긴 문맥 KV Cache까지 감당하려면 HBM3e/HBM4 같은 대용량 적층 메모리가 필수입니다.
  • 로컬 환경의 통합 메모리(UMA): 개인용 워크스테이션에서는 CPU와 GPU가 수백 GB의 고속 메모리를 복사 없이 공유하는 통합 메모리 구조가 대형 로컬 LLM 구동에 절대적으로 유리합니다.

🔗 3. 초저지연 인터커넥트 & RDMA 네트워크

  • 단일 GPU 메모리를 초과하는 거대 모델(MoE 등)을 여러 칩에 쪼개 돌리려면(텐서 병렬화), GPU 간 통신 속도가 병목이 되지 않도록 초당 수 TB를 주고받는 NVLink / NVSwitch가 필요합니다.
  • 서버 노드 간에도 CPU를 거치지 않고 GPU 메모리끼리 직접 통신하는 InfiniBand / RoCE 기반 RDMA와 광 인터커넥트가 필수입니다.

❄️ 4. 고집적 스토리지(NVMe)와 액체 냉각 인프라

  • 초고속 스토리지(GPUDirect Storage): 수 테라바이트 규모의 체크포인트(Checkpoint)와 RAG 벡터 DB를 지연 없이 스트리밍하는 NVMe SSD 어레이가 필요합니다.
  • 전력 및 열관리: AI 칩 하나가 1000W 이상을 소모함에 따라, 공랭식 한계를 넘는 직접 수냉(DLC) 및 액침 냉각(Immersion Cooling)이 현대 AI 컴퓨터 구조의 필수 일부가 되었습니다.
Section 03

최신 LLM 시대에 컴퓨터는 어떤 소프트웨어를 필요로 하는가?

최고급 하드웨어도 소프트웨어 스택의 최적화가 없으면 성능의 20%도 발휘하지 못합니다. 하드웨어 특성을 극한으로 쥐어짜는 LLM 시스템 소프트웨어 계층입니다.

1 하드웨어 인식 컴파일러 & 커널 최적화 (CUDA · Triton · FlashAttention)

• 연산자 융합(Kernel Fusion) & Triton: 메모리 왕복 횟수를 줄이기 위해 여러 작은 연산을 단일 GPU 커널로 합쳐 실행하며, torch.compile이나 OpenAI Triton, XLA 같은 AI 전용 컴파일러가 칩 구조에 맞는 기계어 코드를 자동 생성합니다.
• FlashAttention: HBM과 초고속 온칩 SRAM 간의 데이터 타일링(Tiling) 순서를 재설계하여, 어텐션 연산의 메모리 사용량을 제곱(N2)에서 선형(N)으로 줄이고 장문 처리를 가능케 한 소프트웨어 혁신의 결정체입니다.

2 고성능 LLM 추론 엔진 & 메모리 스케줄러 (vLLM · TensorRT-LLM · SGLang)

• PagedAttention (OS 가상 메모리 원리의 응용): 운영체제(OS)가 RAM을 페이지(Page) 단위로 쪼개 관리하듯, vLLM은 KV Cache를 비연속 블록으로 동적 할당하여 GPU 메모리 단편화를 95% 이상 제거하고 동시 접속 처리량(Throughput)을 수배 이상 끌어올렸습니다.
• 고급 스케줄링: 먼저 끝난 요청을 기다리지 않고 새 요청을 즉시 끼워 넣는 Continuous Batching, 작은 드래프트 모델로 후보를 먼저 예측하고 큰 모델이 한 번에 검증하는 Speculative Decoding, 시스템 프롬프트를 재계산하지 않는 Prefix Caching이 필수입니다.

3 분산 병렬 학습 & 통신 프레임워크 (Megatron-LM · DeepSpeed · FSDP)

• 수천 개의 GPU를 한 몸처럼 다루기 위해 모델의 가중치·그래디언트·옵티마이저 상태를 분할하는 ZeRO / PyTorch FSDP, 레이어 내 행렬을 쪼개는 Tensor Parallelism, 전문가 혼합 모델(MoE)의 토큰을 각 GPU로 라우팅하는 All-to-All 통신 미들웨어(NCCL)가 핵심 인프라 역할을 합니다.

4 양자화 경량화 런타임 & 로컬 구동 엔진 (AWQ · GGUF · llama.cpp)

• 클라우드뿐 아니라 개인 컴퓨터와 모바일에서도 LLM을 실행하기 위해, 중요 가중치 손실을 최소화하며 4비트로 압축하는 AWQ / GPTQ / FP8 양자화 기법과, CPU·GPU 하이브리드 메모리를 영리하게 오프로드하는 llama.cpp / Ollama / MLX 같은 경량 추론 런타임이 필수 소프트웨어로 자리잡았습니다.

5 AI 에이전트 오케스트레이션 & 보안 샌드박스 (MCP · Agent OS)

• 최신 LLM은 단순 텍스트 답변을 넘어 컴퓨터의 파일, 터미널, 브라우저, 데이터베이스를 직접 다루는 에이전트로 작동합니다. 이를 위해 외부 도구와 표준 규격으로 연결하는 MCP(Model Context Protocol), RAG용 벡터 데이터베이스(Vector DB), 그리고 AI가 생성한 코드를 시스템 손상 없이 격리 실행하는 컨테이너/마이크로VM 샌드박스(Docker, Firecracker)가 필수 OS 계층으로 부상하고 있습니다.

Section 04

핵심 용어 및 컴퓨터 아키텍처 (Terms)

기존 문서에 수록된 컴퓨터 구조·병렬 처리·차세대 컴퓨팅 관련 모든 내부 링크를 보존하여 제공합니다.

Section 05

멀티미디어 강의 & 공개 강좌 (Videos)

카네기멜론대(CMU), 고려대(KUOCW), 가톨릭대, 한양대, 전주교대 등 기존 문서의 모든 강좌 링크와 유튜브 임베드 영상을 보존합니다.

🎓 컴퓨터 구조, 2012년 2학기 : 가톨릭대학교 : 서효중
동영상 25개 (KOCW) ↗
🎓 마이크로프로세서 응용, 2013년 1학기 : HanyangUniversity : 남해운
동영상 12개 (KOCW) ↗
Computer Architecture, 2015 Spring : Carnegie Mellon Computer Architecture : Onur Mutlu, 2015/01/21 ... Playlist 39
컴퓨터 구조 : KUOCW : 최린 2013/03/05 ... 동영상 24개
마이크로프로세서 구조, 2013년 1학기 : KUOCW : 최린, 2013/03/08 ... 동영상 24개
Learning Computer Architecture Through History : 2014/09/27
컴퓨터구조 : 전주교육대 컴퓨터교육과 : 2013/11/03
Section 06

관련 웹 사이트 및 참고 문헌 (Sites)

기존 문서에 연결되어 있던 백과사전 및 컴퓨터과학 외부 참조 링크입니다.