강화 학습 : Reinforcement Learning

개념·원리 강화학습의 본질과 핵심 작동 메커니즘

강화 학습 (Reinforcement Learning) 은 에이전트(Agent)가 미지의 동적 환경(Environment)과 상호작용하며 시행착오(Trial and Error)를 겪고, 자신의 행동 결과로 주어지는 보상(Reward) 신호를 극대화하는 방향으로 의사결정 전략인 정책(Policy) 을 스스로 습득하는 기계학습 (Machine Learning) 의 핵심 패러다임입니다.

🤖 김종환 교수 (KAIST, 2001) :

"강화학습이란 잘한 행동에 대해 칭찬 받고 잘못한 행동에 대해 벌을 받은 경험을 통해 자신의 지식을 키워나가는 학습법이다. 로봇 (Robot) 이 여러 번의 실패와 성공경험을 쌓으며 주어진 작업을 잘 수행할 수 있도록 하는 것이다. 로봇은 어떤 상태에서 가능한 행동들 중의 하나를 선택, 이 행동 결과에 따른 포상 (reward) 을 받고 나서 다음 상태를 알게 된다." (김종환 2001)

🔬 심귀보 교수 (중앙대학교) :

"강화학습은 자신과 환경과의 상호관계와 이에 따른 강화신호를 통하여 자신의 행동을 개선해 나가는 방법으로서 환경에 대한 정확한 사전 지식이 없이 학습 및 적응성을 보장하기 때문에 로봇의 학습에 유용하다. 그러나 강화학습법의 가장 큰 문제는 취한 행동에 대한 보상이 즉각적으로 계산되지 않을 경우(지연된 보상) 학습이 어려운 점이다." (심귀보)

🌐 AI Topics (AAAI) :

"강화학습은 수치로 표현되는 보상 (reward) 신호를 최대로 하기 위해서 무엇을 해야 할지 (어떻게 상황과 행동을 매핑해야 할지)를 학습하는 것이다. 학습자는 대부분의 지도학습 (Supervised Learning) 에서처럼 어떤 행동을 취해야 할지를 직접 배우는 것이 아니라, 어떤 행동을 해야 가장 좋은 보상이 주어지는지를 스스로 발견해야 한다." (AI Topics : reinforcement learning)

⚖️ 탐험(Exploration) vs 활용(Exploitation)의 딜레마

강화학습의 가장 독특한 도전 과제는 '탐험과 활용의 균형'입니다:

• 활용 (Exploitation) : 지금까지 경험하여 알고 있는 지식 중 가장 높은 보상을 주는 최선의 행동을 취함 (현재 보상 극대화)

• 탐험 (Exploration) : 아직 해보지 않은 새로운 행동을 시도하여 더 나은 대안이나 장기적 보상을 발굴함 (ε-탐욕(Epsilon-Greedy) 전략 등 활용: 예컨대 10%의 확률로는 무작위 탐험, 90%의 확률로는 최선의 행동 선택)

🔄 강화학습의 5단계 상호작용 사이클

STEP 01

상태 관측 (s_t)

에이전트가 환경 센서나 비전 등을 통해 현재 시점 t의 상태 s_t(상태 집합 S의 원소)를 지각합니다.

STEP 02

행동 선택 (a_t)

현재 정책 π(a_t|s_t)에 기반하여 가능한 행동 집합 A(s_t) 중 최적의 행동 a_t를 결정합니다.

STEP 03

환경 전이 & 보상

환경이 행동 a_t를 적용받아 다음 시점 (t+1)의 새로운 상태 s_t+1로 전이되고 수치 보상 r_t+1(예: +10점, -1점)을 지급합니다.

STEP 04

가치·정책 갱신

보상과 기대값의 차이(시간차 오차)를 계산하여 상태 가치 함수 V(s), 행동 가치 함수 Q(s, a) 및 정책 파라미터를 갱신합니다.

STEP 05

최적 정책 수렴

에피소드를 수만 번 반복하며 미래 할인 누적 보상을 최대화하는 최적 정책 π*(파이 스타)에 도달합니다.

맨 위로 ↑

수학 모델 마르코프 결정 과정(MDP)과 벨만 방정식(Bellman Equation)

강화학습 환경은 일반적으로 유한 상태 마르코프 결정 과정 (Markov Decision Process, MDP) 으로 정형화됩니다. MDP는 "미래 상태는 과거의 모든 이력과 무관하게 오직 현재 상태와 현재 행동에 의해서만 결정된다"는 마르코프 성질(Markov Property)을 전제로 합니다.

📐 MDP의 5대 핵심 구성 요소 튜플 : (S, A, P, R, γ)

1) 상태 집합 S (State Space) : 에이전트가 놓일 수 있는 모든 가능한 환경 상태들의 집합

2) 행동 집합 A (Action Space) : 에이전트가 각 상태에서 취할 수 있는 모든 선택 가능한 행동들의 집합

3) 상태 전이 확률 P (Transition Probability) : 현재 상태 s에서 행동 a를 취했을 때 다음 상태 s'에 도달할 확률 P(s' | s, a)

4) 보상 함수 R (Reward Function) : 상태 s에서 행동 a를 취해 다음 상태 s'로 전이될 때 주어지는 기대 보상 수치 R(s, a, s')

5) 할인율 γ (Discount Factor, 0 이상 1 이하의 수치) : 미래에 받을 보상을 현재 가치로 환산하는 비율 (예: γ = 0.9일 때 1단계 뒤의 10점은 현재 9점의 가치로 평가)

에이전트의 목표는 미래 보상들의 할인 누적 합인 리턴(총 보상 G_t)을 극대화하는 정책 π(상태 S를 행동 A로 대응시키는 전략)를 찾는 것입니다:

G_t = r_t+1 + γ × r_t+2 + γ² × r_t+3 + ... = 합계 [ γ^k × r_t+k+1 ] (k는 0부터 무한대까지)

[숫자 계산 예시] 매 시점 보상이 10점이고 할인율 γ = 0.9(90%)인 경우 :
G_t = 10 + (0.9 × 10) + (0.9² × 10) + (0.9³ × 10) + ... = 10 + 9 + 8.1 + 7.29 + ... = 100점

어떤 상태의 바람직한 정도를 나타내는 최적 가치 함수(Optimal Value Function)는 다음과 같은 재귀적 벨만 최적 방정식 (Bellman Optimality Equation) 을 통해 숫자로 계산됩니다:

V*(s) = 최댓값_a [ R(s, a) + γ × Σ_s' { P(s' | s, a) × V*(s') } ]

[의미 및 숫자 예시] 상태 s의 최적 가치 = (현재 행동 a로 얻는 즉시 보상) + (할인율 γ × 다음 상태들의 전이확률 가중 가치합) 중 가장 큰 값
예컨대 '직진' 행동의 즉시 보상이 +5점이고 다음 상태 기대치가 10점(할인율 0.9 적용 시 9점)으로 총 14점이며, '회전' 행동의 총점이 12점이라면, 둘 중 더 큰 14점이 최적 가치 V*(s)가 됩니다.

이러한 추정은 dynamic programming, 몬테카를로(Monte Carlo) 기법, 그리고 지연된 보상을 효과적으로 다루는 시간차 학습(Temporal Difference Learning, TD) 및 Q-Learning의 수학적 토대가 됩니다.

맨 위로 ↑

선구자 강화학습의 발명자와 역사적 개척자

강화학습은 동물 심리학의 시행착오 학습과 수학적 최적 제어 이론(동적 계획법)이 컴퓨터 과학에서 융합되며 탄생하였습니다:

현대 강화학습의 아버지

리처드 서튼 & 앤드루 바르토
(Richard S. Sutton & Andrew G. Barto)

앨버타 대학교 교수 · DeepMind 펠로우 / 매사추세츠 대학교 교수

1980년대 시간차 학습(Temporal Difference, TD) 이론을 정립하고 강화학습을 독립된 인공지능 학문 체계로 완성했습니다. 이들이 저술한 《Reinforcement Learning: An Introduction》(1998, 2018)은 전 세계 모든 인공지능 연구자들의 필독 바이블로 통합니다.

Q-Learning 창시자

크리스 왓킨스 (Christopher Watkins)

런던 대학교 로열 할로웨이 교수

1989년 박사 학위 논문에서 환경의 전이 확률 P에 대한 사전 지식(Model) 없이도 행동 가치 함수 Q(s, a)를 직접 학습할 수 있는 혁신적인 'Q-Learning' 알고리즘을 제안하고 그 수렴성을 증명하여 모델-프리 강화학습의 지평을 열었습니다.

세계 최초 게임 학습 개척자

아서 사무엘 (Arthur Samuel, 1901~1990)

IBM 연구원 · 스탠퍼드 대학교 연구원

1959년 IBM 704 컴퓨터에서 체커(Checkers) 게임을 통해 자신의 이전 수와 결과를 비교하며 평가 함수를 갱신하는 프로그램을 개발했습니다. 이는 훗날 시간차(TD) 학습의 모태가 된 인류 최초의 자가 강화학습 시도였습니다.

심리학적 기원 (효과의 법칙)

에드워드 손다이크 (Edward Thorndike)

미국 컬럼비아 대학교 심리학 교수

1898년 문제상자(Puzzle Box) 고양이 실험을 통해 "만족스러운 결과를 가져오는 행동은 강화되고, 고통스러운 결과를 가져오는 행동은 약화된다" 는 '효과의 법칙(Law of Effect)'을 발표하여 컴퓨터 강화학습의 생물학적 아이디어를 제공했습니다.

맨 위로 ↑

AI 최전선 최근 알파고(AlphaGo)와 LLM(대규모 언어 모델)에서의 활용

강화학습은 전통적인 제어 문제를 넘어, 초인적 인공지능(Superhuman AI)과 생성형 AI의 안전성·추론력을 완성하는 핵심 엔진으로 도약했습니다:

🏆 1. 알파고(AlphaGo)와 심층 강화학습(Deep RL)의 금자탑 :

2016년 세계를 놀라게 한 딥마인드의 알파고 (AlphaGo) 는 딥 러닝 (Deep Learning) 과 강화학습을 결합한 심층 강화학습(Deep Q-Network & Actor-Critic) 의 정점이었습니다.

• 정책망(Policy Network) : 바둑판의 현재 국면에서 어디에 둘 확률이 높은지 추천

• 가치망(Value Network) : 현재 판세에서 백 또는 흑이 승리할 확률을 정밀 평가

• 자가 대진(Self-play) 강화학습 : 자신과 똑같은 복제 모델과 수천만 번 대국을 두며 인간의 지식을 뛰어넘는 창의적 묘수를 스스로 발견

이후 등장한 AlphaGo Zero 와 AlphaZero 는 인간의 기보를 단 한 장도 보지 않고 순수한 백지(Tabula Rasa) 상태에서 오직 바둑 규칙과 승패 보상만으로 3일 만에 기존 알파고를 100 대 0으로 완파하며 강화학습의 무한한 잠재력을 증명했습니다.

✨ 2. 대규모 언어 모델(LLM)과 인간 피드백 강화학습(RLHF) :

ChatGPT, Claude, Gemini와 같은 현대 생성형 AI가 인간과 자연스럽고 안전하게 소통할 수 있는 비결은 바로 RLHF (Reinforcement Learning from Human Feedback) 에 있습니다:

① 사전학습 (Pre-training) : 수조 개의 웹 텍스트를 읽고 다음에 올 단어를 예측하는 능력 획득

② 보상 모델 구축 (Reward Model) : 인간 평가자가 AI의 여러 답변 중 더 안전하고 유용한 답변에 높은 점수를 부여하여 보상 예측 신경망을 훈련

③ PPO 강화학습 정렬 (Alignment) : 언어 모델(에이전트)이 텍스트를 생성(행동)할 때 보상 모델로부터 최고 점수를 받도록 정책 최적화 알고리즘(PPO / DPO)으로 가중치를 미세조정

나아가 최근의 OpenAI o1과 같은 차세대 추론 모델은 복잡한 수학, 코딩 문제를 풀 때 **'생각의 사슬(Chain-of-Thought)'** 탐색 경로를 강화학습으로 검증·수정하며 인간 수준의 깊은 추론 능력을 보여주고 있습니다.

맨 위로 ↑

다학제 비교 심리학 · 신경과학 · 교육학 · AI 에서의 강화학습 개념 차이

'강화(Reinforcement)'라는 단어는 동일하지만, 학문 분과에 따라 탐구하는 대상, 메커니즘, 윤리적·공학적 관심사가 뚜렷하게 구별됩니다:

🧠 심리학 (Psychology)

조작적 조건화와 외적 행동 형성

손다이크와 스키너의 행동주의에 기반합니다. 유기체의 자발적 행동 뒤에 보상(정적 강화)이나 불쾌 자극 제거(부적 강화)를 부여하여 행동 빈도를 높이거나, 처벌을 통해 빈도를 낮춥니다. 내적 마음보다는 관찰 가능한 행동의 수정에 집중합니다.

🧬 신경과학 (Neuroscience)

도파민과 보상 예측 오차(RPE)

뇌의 중뇌-변연계(VTA → 측좌핵) 도파민 신경세포의 발화 메커니즘입니다. 1997년 울프람 슐츠 교수는 도파민이 단순 보상이 아니라 "실제 보상 - 기대했던 보상"의 오차(RPE)를 신호화하여 시냅스 가소성을 조절함을 밝혀냈습니다. 이는 컴퓨터 TD 학습의 δ(델타) 오차와 정확히 일치합니다.

🎓 교육학 (Pedagogy)

내적 동기와 자기결정성

스티커나 상장 같은 외적 강화물(토큰 경제)의 유용성을 인정하면서도, 지나친 외적 보상이 배움의 순수한 즐거움을 파괴하는 '과잉 정당화 효과(Overjustification)'를 경계합니다. 학생의 자율성, 유능감, 내적 동기 및 성장 마인드셋 촉진을 최우선으로 삼습니다.

💻 인공지능 (AI / CS)

수학적 최적 제어와 정책 최적화

마르코프 결정 과정(MDP)을 수학적으로 모델링하고, 손실 함수 대신 누적 보상 기대값을 최대화하는 정책 파라미터 θ(세타)를 경사상승법(Policy Gradient)이나 벨만 최적화로 풉니다. 보상 해킹(Reward Hacking) 방지와 샘플 효율성이 핵심 공학 과제입니다.

📊 4대 학문 분과별 강화학습 비교표

비교 항목	🧠 심리학	🧬 신경과학	🎓 교육학	💻 인공지능 (AI)
연구 주체	인간 및 동물 유기체 행동	뇌 신경회로 및 뉴런/시냅스	학생, 교사, 학습 공동체	인공 에이전트, 신경망 모델
핵심 원리	조작적 조건화, 4대 강화·처벌	도파민 보상 예측 오차 (RPE)	내적 동기 부여, 메타인지	MDP, 벨만 방정식, Q-Learning
강화의 성격	음식, 칭찬, 혐오자극 제거	도파민 분비 및 시냅스 전달	성취감, 긍정 피드백, 자기효능	스칼라 수치 보상 (실수 r, 예: +10점, -5점)
주요 관심사	행동 수정, 습관 형성	중독 기제, 파킨슨병, 학습 생체계	학습 지속성, 자기주도성	수렴성, 일반화, 안전한 정렬