aistudy 메인
마르코프 결정 과정 (Markov Decision Process, MDP) 은 결과가 불확실한 상황에서 순차적인 의사결정을 모델링하기 위한 수학적 프레임워크이자 강화학습 (Reinforcement Learning) 의 핵심 기본 이론입니다. 의사결정자(에이전트) 가 환경과 상호작용하며 시간에 따라 어떤 행동을 취하고, 그에 따른 보상을 극대화하는 방법을 수학적으로 정의합니다.
MDP 는 단순한 수학적 공식을 넘어, 인공지능이 "정적인 데이터 분류"를 벗어나 "역동적인 세계와 상호작용하며 자율적으로 목표를 달성하는 지능체 (Autonomous Agent) "로 도약할 수 있었던 일등공신입니다.
Markov Decision Process (MDP) 는 이산시간 확률제어 과정 (discrete time stochastic control process) 으로서, 일련의 상태 (states), 행동 (actions), 주어진 상태에서 선택된 행동에 의존하는 전이확률행렬 (transition probability matrices) 등을 특징으로 한다. dynamic programming 과 강화학습 (Reinforcement learning) 을 통한 해법을 찾는 광범위한 최적화문제 (optimization problem) 를 연구하는데에 MDP 는 유용하다. ....... (Wikipedia : Markov decision process)
마르코프 결정 과정(MDP)은 의사결정 주체인 에이전트(Agent)가 환경(Environment)과 상호작용하며 순차적으로 행동을 선택하고, 그 결과로 다음 상태로 전이하면서 보상(Reward)을 획득하는 일련의 과정을 정밀하게 수학화한 정형 모델입니다.
시간이 연속적이 아닌 단계별 이산 시점 (t = 0, 1, 2, ...) 으로 진행되며, 각 시점마다 상태 관측과 행동 결정이 이루어집니다.
에이전트가 어떤 행동을 선택하더라도 외부 환경의 바람, 마찰, 불확실성에 의해 여러 가능한 상태 중 하나로 확률적으로 전이합니다.
즉각적인 이득뿐만 아니라 먼 미래에 도달할 최종 목표(체스 승리, 자율주행 목적지 도달 등)를 위한 장기적 누적 가치를 극대화합니다.
마르코프 성질은 "미래의 상태는 오직 현재의 상태와 현재의 행동에 의해서만 결정되며, 과거에 어떤 경로를 거쳐왔는가(History)와는 완전히 독립적이다"라는 가정입니다. 즉, 현재 상태 S_t 는 과거의 모든 이력 정보를 충분히 함축하고 있는 충분통계량(Sufficient Statistic)입니다.
모든 마르코프 결정 과정은 다음 5가지 요소로 구성된 튜플 (S, A, P, R, γ) 로 엄밀하게 정의됩니다.
에이전트가 존재할 수 있는 모든 유효한 환경 상태(State)들의 집합입니다. 바둑판의 돌 배치, 로봇 관절의 각도와 속도, 자율주행 차량의 위치와 전방 장애물 정보 등이 포함됩니다.
에이전트가 특정 상태에서 선택할 수 있는 모든 가능한 행동(Action)들의 집합 A(s) 입니다. 상/하/좌/우 이동 같은 이산적 행동 또는 가속 페달 각도, 모터 토크 같은 연속적 행동이 있습니다.
상태 s 에서 행동 a 를 실행했을 때 다음 상태 s' 로 전이할 조건부 확률 분포입니다 :
P(s' | s, a) = P( S_(t+1) = s' | S_t = s, A_t = a )
상태 s 에서 행동 a 를 취해 다음 상태 s' 로 전이할 때 환경으로부터 주어지는 즉각적인 피드백(실수 스칼라 값)의 기댓값입니다 :
R(s, a) = E[ R_(t+1) | S_t = s, A_t = a ]
미래에 획득할 보상을 현재 가치로 환산하는 감가율입니다. γ → 0 이면 눈앞의 즉각적 보상만을 탐닉하는 근시안적(Myopic) 에이전트가 되고, γ → 1 이면 먼 훗날의 장기적 보상을 중요하게 고려하는 선견지명(Far-sighted) 에이전트가 됩니다. 또한 무한 단계(Infinite-Horizon)에서 누적 보상이 발산하는 것을 수학적으로 방지합니다.
MDP의 궁극적 목표는 누적 할인 보상의 기댓값을 최대로 만드는 최적 정책(Optimal Policy, π*)을 찾아내는 것입니다.
각 상태 s 에서 어떤 행동을 취할지를 결정하는 규칙입니다.
• 확률적 정책 : π(a | s) = P(A_t = a | S_t = s)
• 결정론적 정책 : a = π(s)
• 상태 가치 함수 V^π(s) : 상태 s 에서 시작해 정책 π 를 따를 때 얻는 기대 총보상
• 행동 가치 함수 Q^π(s, a) : 상태 s 에서 행동 a 를 먼저 취한 뒤 정책 π 를 따를 때 얻는 기대 총보상
벨만 방정식은 가치 함수를 "현재 시점의 즉각 보상"과 "할인된 미래 상태들의 기대 가치"로 우아하게 분해하는 재귀적 수식입니다.
MDP를 해결하는 방식은 환경의 모델(전이 확률 P 와 보상 함수 R)을 에이전트가 완벽히 알고 있는지(Model-Based), 아니면 알지 못하고 직접 경험하며 배워야 하는지(Model-Free)에 따라 나뉩니다.
| 구분 | 방법론 | 핵심 메커니즘 | 대표 알고리즘 |
|---|---|---|---|
| 모델 기반 (Model-Based) 동적 계획법 (DP) |
환경의 P, R 을 완벽히 아는 경우 (바둑, 체스, 정확한 물리 수식 환경) |
벨만 최적 방정식을 수렴할 때까지 반복 계산 (Bootstrapping) | • 정책 반복 (Policy Iteration) • 가치 반복 (Value Iteration) |
| 모델 프리 (Model-Free) 몬테카를로 (MC) |
P, R 을 모름 (시행착오를 통해 에피소드 완결 후 학습) |
실제 끝까지 플레이해 얻은 누적 보상(G_t)의 평균으로 가치 추정 | • First-visit MC • Every-visit MC |
| 모델 프리 (Model-Free) 시간차 학습 (TD) |
P, R 을 모름 (매 단계마다 즉각적으로 업데이트) |
실제 관측된 1단계 보상 + 다음 상태의 추정 가치로 갱신 | • SARSA (On-Policy) • Q-Learning (Off-Policy) |
| 심층 강화학습 (Deep RL) | 상태 공간이 무한/연속적 (아타리 픽셀 화면, 로봇 팔 관절 제어) |
가치 함수나 정책을 심층 신경망(DNN)으로 함수 근사(Approximation) | • DQN (Deep Q-Network) • A3C, PPO, SAC |
마르코프 결정 과정(MDP)은 단순한 수학적 공식을 넘어, 인공지능이 "정적인 데이터 분류"를 벗어나 "역동적인 세계와 상호작용하며 자율적으로 목표를 달성하는 지능체(Autonomous Agent)"로 도약할 수 있었던 일등공신입니다.
초기 AI의 주먹구구식 경험 규칙(Heuristic Rules)을 확률론과 제어 이론의 확고한 수학적 기반 위에 정립했습니다. 불확실성(Stochasticity)과 지연된 보상(Delayed Reward)이라는 현실의 핵심 난제를 단 하나의 일관된 틀로 통일시켰습니다.
Q-러닝(Watkins, 1989), SARSA, 정책 경사(Policy Gradient) 등 현대 강화학습의 모든 알고리즘은 MDP의 벨만 최적 방정식에서 출발합니다. 환경을 모르는 상황에서도 샘플링을 통해 벨만 오차(Bellman Error)를 줄이는 원리로 작동합니다.
딥마인드의 알파고(AlphaGo), 알파제로(AlphaZero)는 바둑의 방대한 경우의 수(10^170)를 MDP로 모델링하고, 몬테카를로 트리 탐색(MCTS)과 심층 신경망 가치 함수 V(s) 를 결합하여 인류 최고수를 격파하는 인공지능 역사상 최대의 사건을 일궈냈습니다.
ChatGPT, Claude 등 최신 초거대 언어 모델이 인간에게 유익하고 안전한 답변을 하도록 유도하는 RLHF (Reinforcement Learning from Human Feedback) 역시 언어 생성을 토큰 단위의 MDP로 모델링하여 보상 모델(Reward Model)과 PPO 알고리즘을 통해 최적화합니다.
딥마인드(DeepMind) 알파고 연구 총괄 데이비드 실버 교수의 UCL 강화학습 명강의 (Lecture 2: Markov Decision Processes)
원전에 수록된 고전 명저와 핵심 학습 사이트 링크를 그대로 보존합니다.
마르코프 결정 과정(MDP)과 밀접하게 연결되는 aistudy 핵심 지식 문서들을 탐색할 수 있습니다.