AI Study
유클리드·알코와리즘·튜링의 절차적 계산에서 Self-Attention·Diffusion·GRPO·Test-Time Search까지
Artificial Intelligent Algorithm

알고리즘 (Algorithm)

알고리즘이라는 용어는 문제를 해결하기 위한 절차나 방법을 말한다. 컴퓨터 프로그램은 정교한 알고리즘들의 집합이라고 간주할 수 있다.... 1) 수학용어로서 알고리즘은 잘 정의되고 명백한 규칙들의 집합 또는 유한 번의 단계 내에서 문제를 풀기 위한 과정이다. 예를 들면, 주어진 정확도에 맞도록 x 의 코사인 값을 계산하기 위한 대수적인 과정도 알고리즘에 해당된다. ... 2) 컴퓨터용어로서 알고리즘은 어떤 문제의 해결을 위해 컴퓨터가 사용 가능한 정확한 방법을 말한다. 경험적 지식 (heuristic) 과 반대되는 용어이다. 알고리즘은 주어진 문제에 대해 항상 100% 정답을 보장하는 해결 방법인 반면, Heuristic 은 경험과 직관을 바탕으로 하기 때문에 정답을 항상 보장하지는 않는다...... 인공지능(AI) 에서 알고리즘(Algorithm) 이란 컴퓨터가 데이터를 바탕으로 규칙과 패턴을 스스로 학습하고, 문제를 해결하거나 예측·결정을 내리기 위해 거치는 명확한 단계별 절차의 집합을 뜻합니다.
요리 레시피가 재료를 손질하고 조리하는 구체적인 순서를 안내하듯, AI 알고리즘은 컴퓨터가 입력된 데이터를 처리해 최적의 결과물을 도출하도록 안내하는 지침서 역할을 합니다.

AI 알고리즘의 핵심 작동 단계

AI 알고리즘은 크게 세 가지 기본 단계를 거쳐 작동합니다:

  • 정보 처리 (Process Information): 입력된 데이터(텍스트, 이미지, 숫자 등) 를 받아들이고 분석합니다.
  • 패턴 식별 (Identify Patterns): 데이터 속에서 공통된 규칙이나 상관관계, 특징을 찾아냅니다.
  • 결과 생성 (Generate Outputs): 찾아낸 규칙을 바탕으로 새로운 질문에 답하거나(예측), 분류하거나, 최적의 행동을 출력합니다.
AI 알고리즘의 주요 유형

인공지능 알고리즘은 데이터를 학습하는 방식에 따라 크게 세 가지로 분류됩니다:

  • 지도 학습 (Supervised Learning): 정답이 포함된 데이터(예: '고양이 사진'이라는 라벨이 붙은 사진)를 통해 규칙을 배우는 방식입니다.
  • 비지도 학습 (Unsupervised Learning): 정답이 없는 데이터 속에서 AI가 스스로 유사한 특징을 찾아내며 군집이나 패턴을 발견하는 방식입니다.
  • 강화 학습 (Reinforcement Learning): AI(에이전트)가 특정 환경에서 직접 행동을 취하고, 그 결과에 따른 보상(Reward)을 최대화하는 방향으로 시행착오를 거치며 학습하는 방식입니다.
대표적인 AI 알고리즘 예시
  • 선형 회귀 / 머신러닝 모델: 데이터를 기반으로 변수 간의 관계 (y = ax + b 등) 를 파악해 값을 예측합니다.
  • CNN (합성곱 신경망): 이미지나 영상에서 시각적 특징을 추출해 이미지 인식을 수행합니다.
  • Transformer (트랜스포머): 챗GPT 같은 생성형 AI 의 기반이 되는 모델로, 어텐션(Attention) 알고리즘을 이용해 긴 텍스트의 문맥과 단어 간의 관계를 파악합니다

고전 알고리즘(Algorithm)이 "문제를 풀기 위해 사람이 직접 설계한 명확하고 유한한 단계적 절차"였다면, AI 시대의 알고리즘은 "데이터로부터 스스로 최적의 규칙과 함수를 학습(Learning)하고, 불확실한 공간에서 최적 해답을 탐색(Search)하며, 확률적으로 지식을 생성·추론(Inference)하는 지능 엔진"으로 진화했습니다.

SECTION 01

AI 시대의 알고리즘 개념, 핵심 역할, 그리고 5대 주요 유형

전통적 소프트웨어 1.0(Algorithm 1.0)에서는 인간 프로그래머가 규칙(알고리즘) + 데이터를 입력해 결과를 얻었습니다. 반면 AI 시대의 학습 알고리즘(Algorithm 2.0)은 데이터 + 목표(보상/정답)를 학습 알고리즘에 넣어 스스로 작동하는 지능 모델(가중치 규칙)을 생성합니다. 이 전환 덕분에 인간이 일일이 if-else로 짤 수 없던 언어 이해, 이미지 인식, 단백질 접힘, 자율 코딩이 가능해졌습니다.

핵심 역할 ①

패턴 학습 & 고차원 함수 근사

수조 개 토큰과 픽셀 속에 숨은 통계적·구조적 법칙을 손실 함수 최소화로 포착합니다.

핵심 역할 ②

조합 폭발 공간의 휴리스틱 탐색

TSP·체스 같은 NP-hard 공간에서 휴리스틱·MCTS로 유망 경로만 빠르게 찾습니다.

핵심 역할 ③

지속적 적응 & 보상 정렬

환경 피드백(RLHF · RLVR)을 통해 AI가 인간의 의도와 정답 검증 기준에 맞춰 행동을 스스로 교정합니다.

핵심 역할 ④

초고속 추론·검색 가속

FlashAttention, Speculative Decoding, HNSW를 통해 막대한 연산을 실시간 응답 속도로 압축합니다.

AI 알고리즘의 5대 주요 유형

유형 01 · 고전 머신러닝 (Classical ML)

지도 · 비지도 · 앙상블 알고리즘

선형/로지스틱 회귀, SVM, 의사결정 트리, XGBoost / LightGBM(정형 테이블 최강), K-Means 군집화, PCA 차원 축소 등이 포함됩니다.

유형 02 · 딥러닝 & 생성 모델 (Deep & Generative)

Transformer · Diffusion · SSM

CNN(시각 공간), Transformer(Self-Attention 기반 LLM), Diffusion & Flow Matching(이미지·영상 생성), Mamba(선형 상태 공간 모델)가 현대 AI의 핵심입니다.

유형 03 · 수치 최적화 (Optimization)

역전파 · SGD · AdamW · LoRA

연쇄 법칙 기반 자동 미분(Backpropagation)으로 기울기를 계산하고, AdamW · Muon 등으로 수천억 파라미터를 수렴시키며, LoRA로 효율적 미세 조정을 수행합니다.

유형 04 · 탐색 & 강화학습 (Search & RL)

A* · MCTS · PPO · DPO · GRPO

경로 탐색(A*), 게임·수학 트리 탐색(MCTS), 정책 경사 강화학습(PPO), 그리고 추론 모델의 핵심 정렬 기법인 DPO · GRPO(RLVR)를 포괄합니다.

유형 05 · 추론 디코딩 & 시맨틱 검색 (Decoding & Retrieval)

샘플링 · 제약 디코딩 · Speculative Decoding · HNSW + RRF

LLM 출력 단계의 Top-K / Top-p(Nucleus) / Beam Search, 문법 무결성을 보장하는 FSM/CFG Constrained Decoding, 추론 가속기 Speculative Decoding, 그리고 RAG를 지탱하는 HNSW 벡터 근사 탐색 + RRF 순위 융합 알고리즘입니다.

INFOGRAPHIC 01 · 고전 알고리즘(1.0) vs AI 학습·추론 알고리즘(2.0) & 5대 유형 지도 규칙 직접 코딩에서 데이터 기반 규칙 발견·탐색·생성으로 확장된 알고리즘 지형도
고전 알고리즘 (Algorithm 1.0) vs AI 알고리즘 (Algorithm 2.0) & 5대 분류 "인간이 절차를 직접 짜는 시대 ➔ 알고리즘이 데이터·보상 속에서 스스로 지능 절차를 학습·탐색하는 시대" 고전 알고리즘 (Algorithm 1.0 : 명시적 절차) [인간이 설계한 규칙 f] + [입력 데이터 x] ➔ [확정 답 y] 5대 조건: 명확성 · 효율성 · 입력 · 출력 · 유한 종결성 예: 유클리드 호제법 · 퀵정렬 · 다익스트라 · 이진탐색 AI 알고리즘 (Algorithm 2.0 : 데이터 기반 학습·탐색) [방대한 데이터 x] + [목표/보상 y] ➔ [학습된 신경망 규칙 f_θ] 특징: 확률적 일반화 · 고차원 근사 · 휴리스틱 가지치기 예: AdamW · Self-Attention · Diffusion · MCTS · GRPO AI · 머신러닝 알고리즘의 5대 핵심 계보 ① 고전 ML 알고리즘 • XGBoost / Random Forest • SVM / 로지스틱 회귀 • K-Means / PCA 강점: 정형 표 데이터, 높은 해석성과 저비용 ② 딥러닝 · 생성 모델 • Transformer Attention • Diffusion / Flow Matching • CNN / Mamba (SSM) 강점: 언어·시각·음성 멀티모달 이해 및 창작 ③ 수치 최적화 엔진 • 역전파 (Backprop) • SGD / AdamW / Muon • LoRA / GPTQ 양자화 역할: 수조 개 가중치 손실 곡면 안정적 수렴 ④ 탐색 · 강화학습 • A* / MCTS 트리 탐색 • PPO / DPO 정렬 • GRPO (RLVR 추론) 역할: 다단계 계획 및 검증 보상 기반 자가 진화 ⑤ 디코딩 · 검색 가속 • FlashAttention (Tiling) • Speculative Decoding • HNSW + RRF 검색 역할: 실시간 초저지연 생성 & 무오류 문법 제어
SECTION 02 · DEEP RESEARCH

최신 AI · LLM 핵심 알고리즘의 구조, 한계, 그리고 미래

2023~2026년 AI 혁명을 주도하는 것은 단순히 "더 큰 모델"이 아니라, 하드웨어 메모리 계층을 정복한 어텐션 커널(FlashAttention), 검증 가능한 보상 기반 강화학습(GRPO), 테스트 타임 탐색(Test-Time Search), 그리고 초고속 추론 알고리즘(Speculative Decoding)입니다. 최신 핵심 알고리즘의 내부 구조와 함께 이들이 넘어야 할 근본적 한계와 미래를 분석합니다.

핵심 구조 01 · 문맥 연산 커널

Self-Attention & FlashAttention (IO-Aware Tiling & 온라인 Softmax)

Transformer의 심장인 Scaled Dot-Product Attention은 문장의 모든 토큰이 다른 모든 토큰을 참조할 수 있게 하지만, 길이 N에 대해 N × N 행렬을 GPU 저속 메모리(HBM)에 쓰고 읽어야 하므로 O(N2) 병목을 일으킵니다. FlashAttention은 알고리즘 구조 자체를 하드웨어 친화적으로 재설계해, Q · K · V 행렬을 작은 타일(Tile) 단위로 쪼개 초고속 GPU 온칩 SRAM 내부에서 온라인 Softmax를 한 번에 계산하고 중간 N × N 행렬을 HBM에 전혀 저장하지 않음으로써 정확도 손실 0%로 학습·추론 속도를 3~5배 가속했습니다.

핵심 구조 02 · 추론 모델 정렬

PPO ➔ DPO ➔ GRPO (RLVR: 검증 가능한 보상 기반 추론 강화학습)

초기 챗봇 정렬 알고리즘 PPO는 거대한 별도 가치(Critic) 모델과 보상(Reward) 모델을 동시에 띄워야 해 메모리가 4배 들었고, DPO는 이를 오프라인 쌍 비교로 단순화했습니다. 최신 추론 모델(DeepSeek-R1 등)을 탄생시킨 GRPO(Group Relative Policy Optimization)는 Critic 네트워크를 완전히 제거하는 대신, 하나의 프롬프트에 대해 여러 CoT 추론 후보 그룹을 샘플링하고 수학/코드 검증기 점수(RLVR)의 그룹 내 평균 대비 상대 우위로 정책을 직접 업데이트하여 AI 스스로 긴 사유와 자가 수정을 학습하게 만들었습니다.

핵심 구조 03 · 생성 & 추론 가속

Flow Matching / Diffusion · Speculative Decoding (투기적 디코딩)

멀티모달 생성에서는 기존 확산 확률 과정보다 직선 궤적(Straight ODE Path)을 학습해 샘플링 스텝을 수십 회에서 수 회 이내로 줄인 Flow Matching이 표준이 되었습니다. 텍스트 추론에서는 가벼운 드래프트 모델이 다음 K개 토큰을 빠르게 예측하면 거대 타겟 모델이 단 한 번의 병렬 Forward Pass로 K개 토큰을 동시 검증해 수락하는 Speculative Decoding이 출력 분포를 수학적으로 100% 동일하게 보존하면서도 생성 속도를 2~3배 높입니다.

현재 AI 알고리즘의 4대 한계

왜 최신 알고리즘도 완벽하지 않은가?

  • O(N2) 문맥 · 전력 벽: 초장문 문맥과 대규모 Test-Time Search가 급격한 GPU 에너지 소비 유발
  • 분포 외 일반화(OOD) & 환각: 확률 보간 특성상 학습 분포 밖의 인과 추론에서 논리 붕괴·환각 발생
  • 보상 해킹 (Reward Hacking): RL 과정에서 진짜 목표 대신 검증 지표의 허점만 악용하는 편법 학습
  • 정적 가중치 한계: 학습 종료 후 파라미터가 고정되어 실시간 새로운 장기 경험이 즉시 체화되지 않음
차세대 알고리즘의 4대 미래

앞으로 5년, AI 알고리즘의 진화 방향

  • Test-Time Training (TTT) & Titans: 추론 도중에도 신경 메모리 가중치를 실시간 경사 하강 업데이트
  • Neuro-Symbolic 하이브리드: LLM 탐색 + Z3/Lean4 형식 검증기 · OR-Tools 결합으로 환각 제로 추론
  • 잠재 공간 추론 (Latent Reasoning): 거추장스러운 텍스트 토큰 CoT 대신 연속 잠재 벡터 공간에서 직접 숙고
  • 물리 세계 월드 모델 (World Models): 비디오·로보틱스 환경의 물리 법칙을 예측·계획하는 시뮬레이션 알고리즘
INFOGRAPHIC 02 · 최신 LLM 알고리즘 4대 코어 작동 원리 & 차세대 진화 흐름 FlashAttention · GRPO(RLVR) · Speculative Decoding · Test-Time Training 미래 지도
최신 AI · LLM 핵심 알고리즘 4대 코어 메커니즘과 미래 진화 FlashAttention(커널) · GRPO(추론 강화학습) · Speculative Decoding(가속) · Neuro-Symbolic/TTT(미래) ① FlashAttention : 하드웨어 I/O 인식 타일링 알고리즘 • 기존 문제: N×N 어텐션 행렬을 저속 HBM에 매번 저장/로드 • 알고리즘 혁신: Q·K·V 블록 분할 + 온칩 SRAM 내 온라인 Softmax 결과 ➔ 메모리 공간 O(N²) ➔ O(N) 절감 & 3~5배 속도 향상 (하드웨어 메모리 계층과 알고리즘 공동 설계 Co-Design) ② GRPO (RLVR) : Critic 없는 추론 강화학습 정렬 • 동작: 동일 질문에 G개 CoT 추론 생성 ➔ 검증기(수학/테스트) 채점 • 혁신: 거대 Critic 모델 제거, 그룹 내 상대 보상 z-score 정규화 결과 ➔ AI가 스스로 검증·역추적하는 '긴 숙고(<think>)' 창발 (단, 주관적 영역에서는 보상 해킹 방어 필수) ③ Speculative Decoding : 무손실 병렬 추론 가속 • 병목: 자기회귀(1토큰씩 순차 생성)는 GPU 연산기 놀고 대역폭 병목 • 기법: 소형 Draft 모델이 K개 초안 ➔ 대형 모델이 1회 병렬 동시 검증 결과 ➔ 수학적으로 100% 동일한 출력 분포 유지 + 2~3배 빠른 응답 (Medusa · EAGLE 다중 헤드 추론으로 발전 중) ④ 현재 한계 돌파 ➔ 차세대 AI 알고리즘의 미래 • 한계: 정적 가중치 · 환각/OOD · O(N²) 전력 · 보상 해킹 • 진화1: Test-Time Training (추론 중 실시간 신경 메모리 갱신) 진화2 ➔ Neuro-Symbolic (LLM + Z3/Lean4) & 잠재 공간 숙고 진화3 ➔ 물리 세계를 시뮬레이션하는 World Model & Flow Matching
SECTION 03 · FOR AI ENGINEERS & EXAMPLES

AI 개발자에게 가지는 실무 의미 & 대표 AI 알고리즘 6대 예시

AI 개발자들에게 LLM 시대 최신 알고리즘이 가지는 5대 실무 의미

  • 1. "모델 교체보다 추론·탐색 알고리즘 결합이 가성비가 높다": 같은 8B 모델이라도 단순 1-Pass 대신 Best-of-N, Self-Consistency, 검증기 재시도 알고리즘을 붙이면 70B 모델 급의 정답률을 냅니다.
  • 2. 고전 알고리즘의 재발견: 이진 탐색, Trie(RadixAttention), 동적 계획법(Beam Search), 위상 정렬(Agent DAG) 같은 전산 기초 알고리즘이 LLM 런타임·에이전트 내부에서 그대로 핵심 부품으로 작동합니다.
  • 3. 복잡도(Latency · Token) 감각 필수화: 어텐션 O(N2)와 다중 턴 토큰 누적을 이해해야 실서비스의 타임아웃과 API 비용 폭주를 막을 수 있습니다.
  • 4. 확률적 모델 + 결정론적 알고리즘의 하이브리드 설계: LLM(확률적 생성)과 정규식·AST 파서·Z3 솔버(결정론적 검증)를 결합해야 신뢰성 99% 프로덕트를 만듭니다.
  • 5. 평가(Eval)와 정렬 알고리즘의 내재화: 단순 프롬프트 튜닝을 넘어, 실패 로그와 검증 가능한 보상을 모아 DPO/GRPO 파인튜닝 데이터 루프를 짜는 능력이 AI 개발자의 경쟁력입니다.

현업에 바로 쓰이는 대표적인 AI 알고리즘 6가지 예시

예시 ① · 딥러닝 학습

역전파(Backprop) + AdamW

출력 오차에서 거꾸로 연쇄 법칙 미분을 전파하고(Backprop), 1차 모멘텀·2차 분산 스케일링·분리된 가중치 감쇠(AdamW)로 수천억 가중치를 안정적으로 학습합니다. 모든 딥러닝·LLM 사전학습의 표준 엔진입니다.

예시 ② · 문맥 이해

Self-Attention + FlashAttention

Softmax(Q·KT / √d) · V로 시퀀스 내 장거리 문맥 연관성을 동적 계산하며, FlashAttention 타일링으로 VRAM HBM 병목 없이 수십만 토큰을 처리합니다. GPT·Claude·Gemini의 핵심 연산 코어입니다.

예시 ③ · 탐색과 추론

MCTS (몬테카를로 트리 탐색)

선택(UCB1 균형) ➔ 확장 ➔ 시뮬레이션 ➔ 역전파 4단계로 탐색 트리를 가꾸는 알고리즘입니다. AlphaGo·AlphaProof(수학 정리 증명)·Tree-of-Thoughts 에이전트 계획의 중추입니다.

예시 ④ · 정렬 & RL

GRPO / DPO 정렬 알고리즘

인간 선호쌍(DPO)이나 그룹 내 검증기 정답 비교(GRPO)로 모델 출력을 교정합니다. 추론 모델의 자가 검증(<think>) 능력과 기업 맞춤형 도메인 정렬(Post-training)에 필수 적용됩니다.

예시 ⑤ · RAG 검색

HNSW + RRF 하이브리드 검색

계층 그래프 기반 벡터 근사 검색(HNSW)과 키워드 역색인(BM25) 결과를 순위 역수 합산(RRF)으로 결합합니다. 수억 개 사내 문서에서 정확한 근거를 0.01초 만에 뽑아 RAG 환각을 차단합니다.

예시 ⑥ · 서빙 가속

Speculative Decoding

빠른 소형 모델(Draft)의 다수 토큰 예측을 대형 모델(Target)이 병렬 1패스로 검증·수락/교정하는 확률적 알고리즘입니다. 대형 LLM 서비스의 추론 지연 시간을 2~3배 단축하는 표준 기술입니다.

SECTION 04 · ARCHIVE PRESERVATION

원전 해설 · 자료 바로가기 · 대학 공개 강의 (원본 보존)

알고리즘이라는 용어는 문제를 해결하기 위한 절차나 방법을 말한다. 컴퓨터 프로그램은 정교한 알고리즘들의 집합이라고 간주할 수 있다. 수학이나 컴퓨터 과학에서 말하는 알고리즘은, 보통 반복되는 문제를 풀기 위한 작은 프로시저를 의미한다.

'알고리즘 (algorithm)' 이라는 단어는 AD 825 년에 'Kitab al jabr w' almuqabala' 라는 영향력 있는 수학 교과서를 저술한 9 세기 페르시아 수학자 알코와리즘 (Abu Ja'far Mohammed ibn Mûsâ al-Khowârizm) 의 이름에서 유래한다. 처음에는 더 정확하게 'algorism' 이라고 표기되었는데 요즈음 'algorithm' 으로 바뀐 것은 산수라는 의미의 'arithmetic' 에서 영향을 받은 것 같다. (대수학을 나타내는 'algebra' 도 위의 책 제목에 등장하는 아랍 단어 'al jabr' 에서 유래한다는 사실도 알아 둘 만하다) ...... 그러나 알고리즘의 예는 알코와리즘의 책보다 훨씬 이전부터 알려져 왔다. 가장 잘 알려진 예로서 고대 그리스 (기원전 300 년경) 시대에 만들어진 두 수의 최대 공약수를 구하는 유클리드 (Euclid) 알고리즘을 들 수 있다.......

유한한 단계를 통해 문제를 해결하기 위한 절차나 방법 .... 원래는 인도에서 아랍를 거쳐 유럽에 보급된 필산(筆算)을 뜻하며 .... 알고리즘은 수학용어와 컴퓨터 용어 두 가지로 나누어 설명할 수 있다. 1) 수학용어로서 알고리즘은 잘 정의되고 명백한 규칙들의 집합 또는 유한 번의 단계 내에서 문제를 풀기 위한 과정이다. 예를 들면, 주어진 정확도에 맞도록 x의 코사인 값을 계산하기 위한 대수적인 과정도 알고리즘에 해당된다. 경험적 지식 (heuristic) 과 반대되는 용어이다. ...... 2) 컴퓨터용어로서 알고리즘은 어떤 문제의 해결을 위해 컴퓨터가 사용 가능한 정확한 방법을 말한다. 알고리즘은 여러 단계의 유한한 집합으로 구성되는데, 여기서 각 단계는 하나 또는 그 이상의 연산을 필요로 한다. 이 때 컴퓨터가 각 연산들을 수행하기 위해서는 다음의 조건을 만족해야 한다. ① 명확성:각 연산들은 명확한 의미를 가져야 한다. ② 효율성:각 연산은 원칙적으로 일정한 시간 내에 사람이 연필로 할 수 있어야 한다. ③ 입력:외부 입력자료가 있을 수 있다. ④ 출력:하나 이상의 결과가 나온다. ⑤ 종결성:유한 번의 연산 후에는 끝나야 한다.

300원짜리 커피를 파는 자동판매기의 내부에도 간단한 알고리즘이 있어서, 적합한 금액이 들어오면 프림/설탕의 선택에 따라 따끈한 커피를 내놓고 거스름 돈도 정산하여 준다. 높은 아파트에 사는 사람이 출근하려고 엘리베이터 단추를 누르면, 엘리베이터를 작동시키는 알고리즘은 다른 층에 사는 사람이 부르는 지 등을 판정하여 적절한 움직임을 한다. 그러나 알고리즘이 부실하게 짜여있으면, 자동판매기가 이상하게 행동하고, 엘리베이터가 고장이 난다 ...... 수학자들이 사용하는 좁은 의미의 알고리즘에 대한 정의는 1930년대에 튜링, 괴델, 처치등에 의하여 확립되었다. 수학자들은 어떠한 알고리즘이 간단하고, 어떠한 알고리즘이 복잡한가를 이해하기 시작하였다. 그들은 컴퓨터 과학을 탄생시켰으며, 많은 자료에서 원하는 자료를 순식간에 찾아주는 프로그램을 개발하여, 방대한 자료의 인터넷 써치가 가능하도록 하였다 .... (김홍종 2000)

가장 기본적인 형태의 알고리즘은 체계적 탐색 (systematic search) 으로, 이것은 모든 가능한 해결 대안들을 포함하고 있으며 체계적으로 차례차례 그것들을 검토해 나간다. ..... 알고리즘은 항상 해법에 도달하도록 해 주지만 ......불행하게도 어떤 문제들은 (체계적인 탐색처럼) 단지 비효율적인 알고리즘만 있게 되며 커다란 문제에 있어서 이러한 접근은 컴퓨터조차 가혹한 것이 된다 ........ 예를들면 순회외판원 문제 (Traveling Salesman Problem), 체스 (Chess) 에서처럼 알고리즘은 극도의 비효율성을 보여주어 사실상 해결이 불가능해진다 .... 알고리즘과는 달리 휴리스틱 (Heuristic) 은 해결책의 발견을 보장하지 않는다. 그러나 heuristic은 알고리즘보다 효율적이다. 왜냐하면 많은 쓸모없는 대안책들을 실제 시도하지 않고도 배제시킬 수 있기 때문이다 ..... (오세진외, 1999)

훌륭한 알고리즘 중에는 문제를 해결하는 방법과 고속화의 테크닉에 있어서 공통점을 가진 알고리즘이 많이 있다. 예를들면 퀵 정렬과 합병 정렬은 정렬 대상이 되는 데이터가 들어 있는 배열을 두 개로 나눠서 두 배열을 각각 정렬한 후, 그들 두 배열을 연결한다는 점에서 공통점을 갖고 있다. 이러한 기본적인 테크닉을 알고리즘의 설계 기법이라고 부른다. 프로그래머는 해결해야 할 새로운 문제에 접했을 때 기존의 알고리즘 설계 기법을 응용할 수 있는지 어떤지를 생각하는 것은 새로운 알고리즘 개발에 필요한 시간과 경비를 줄일 수 있다는 점에서 매우 중요하다 ... (박정호, 1995)

간단한 계산 혹은 논리 연산을 하는 튜링 기계가 만들어질 수 있다는 것이 완전히 이해가 된다면 이들을 알고리즘을 수행하는 복잡한 기계를 만드는 데 어떻게 이용할 수 있는가 하는 것도 쉽게 이해가 될 것이다. 그러한 것을 얼마 동안 실제로 연습해 본 사람이면 이러한 종류의 기계는 어떠한 기계적 작업 (mechanical operation) 이라도 수행할 수 있도록 만들 수 있다는 사실을 쉽게 확인할 수 있을 것이다. 수학적으로 말할 때, '기계적 작업' 이라는 것을 이러한 기계가 수행할 수 있는 작업으로 정의하는 것이 타당성을 갖게 되었다. 이러한 형태의 이론적 기계, 즉 튜링 기계에 의해서 수행될 수 있는 기계적 작업을 수학자들은 '알고리즘' 이라는 명사와 '계산 가능 (computable),' '재귀적 (recursive),' 혹은 '효과적 (effective)' 이라는 형용사를 사용하여 표현하고 있다. 어떤 계산 과정이 충분히 명료하고 기계적이라면 이를 수행할 수 있는 튜링 기계도 꼭 찾아낼 수 있다는 가정이 설득력을 갖게 된 것이다. 이것이 바로 튜링 기계 (Turing Machine) 개념의 동기를 이해하는 데 가장 중요한 포인트이다. ... (Roger Penrose 1989)

video : 국내외 알고리즘 대학 공개 강의

알고리즘, 2015년 2학기 : 명지대학교 : 이충기 ... 동영상 28개
알고리즘, 2014년 2학기 : 충북대학교 : 이충세 ... 동영상 28개
알고리즘, 2013년 1학기 : 충남대학교 : 이만호 ... 동영상 36개
컴퓨터 알고리즘, 2013년 2학기 : HanyangUniversity : 박희진, 2013/11/18 ... 동영상 22개
Introduction to Algorithms, Fall 2011 : MIT OCW : Srinivas Devadas, Erik Demaine, 2012/01/14 ... Playlist 47
Introduction to Algorithms, Fall 2005 : MIT OCW: Charles Leiserson, Erik Demaine, 2009/01/07 ... Playlist 23 : 한글자막
C++로 배우는 알고리즘 : 이재규 : 2014/11/25 ... 동영상 243개