홈 > 수학(Mathematics) > 수치해석(Numerical Analysis) > 최소자승법 (Least Squares)

📐 최소자승법 (Least Squares Method)

실제 관측값과 모델이 예측한 값의 차이 (잔차, Residual), 즉 오차의 제곱의 합 (Sum of Squared Errors) 을 최소화하여 불확실한 측정 데이터로부터 최적의 참값 모델을 도출하는 수치해석의 근간이자, 신경망 역전파(Backpropagation) 와 초거대 LLM 4-bit 양자화(GPTQ) 를 지탱하는 핵심 알고리즘

가우스의 천체 궤도 추정에서 출발하여 위드로우-호프(Widrow-Hoff)의 LMS(Least Mean Squares) 적응형 신경망, 현대 딥러닝 손실 함수(MSE), 그리고 최근 수천억 파라미터 LLM을 GPU 온칩 메모리에 압축 적재하는 2차 테일러 근사 양자화 기법의 토대입니다.

가우스-마르코프 BLUE LMS 신경망 알고리즘 LLM GPTQ 양자화
Section 01

물리적 측정 오차와 최소자승 근사의 필요성

과학적, 공학적 실험에서 물리량의 측정은 일반적으로 다소 부정확합니다. 이것은 인간의 주관적 오차 때문일 수도 있지만, 측정을 수행하는 계측 도구 그 자체의 물리적 한계 때문인 경우가 더 많습니다.

선형 함수 관계 f(x) = mx + b 를 구하기 위해, 두 개의 상호 연관된 값 x 와 y 의 측정이 포함되는 실험을 살펴봅시다. 실험에서 x 의 다양한 값을 선택하여 x1, x2, ..., xn 이라 놓고, 이에 대응되는 y 값을 측정합니다. 실제 측정값을 y1, y2, ..., yn 이라 놓았을 때 다음과 같은 결과가 얻어졌습니다.

표 1. 실험 관측 결과 데이터 (21개 샘플) 독립변수 xi vs 측정치 yi
xi yi xi yi
1.0 -1.945 3.2 0.764
1.2 -1.253 3.4 0.532
1.4 -1.140 3.6 1.073
1.6 -1.087 3.8 1.286
1.8 -0.760 4.0 1.502
2.0 -0.682 4.2 1.582
2.2 -0.424 4.4 1.993
2.4 -0.012 4.6 2.473
2.6 -0.190 4.8 2.503
2.8 0.452 5.0 2.322
3.0 0.337 - -
표 1 의 실험결과에 대한 그래프

그림 1. 표 1 의 실험결과 산점도와 최소자승 적합선 (원본 프로그램 실행 결과)

측정 점들이 완전한 일직선 상에 위치하지 않고 주위에 흩어져 있으므로, 오차 제곱합을 최소화하는 최적의 직선 y = mx + b를 구해야 합니다.

Section 02

수학적 기초: 정규확률분포 가설과 RMS 오차 최소화

선형 모델 f(x) = mx + b 를 결정하는 문제는 상수 기울기 m 과 절편 b 를 결정하는 문제로 환원됩니다. 근사값을 결정하기 위해 오차 εi = f(xi) - yi (1 ≤ i ≤ n)에 대한 통계적 가정이 필요합니다.

오차의 2대 정규 확률 성질 (원문 보존)

  • 성질 (1): x = xi 에 대한 실험을 무수히 많이 반복한다면, 측정치 yi 와 관련된 미지의 오차 εi 의 기댓값(평균)은 0 이다: E[εi] = 0
  • 성질 (2): 같은 실험 조건에서 오차 εi 의 크기가 커짐에 따라, 그것이 발생할 우도(Likelihood)는 급격히 감소한다 (가우스 정규분포 곡선의 성질).

평균제곱근 (Root-Mean-Square) 오차 E

함수 f^(x) 에 대한 데이터 { yi } 의 RMS 오차는 다음과 같이 정의됩니다:

E = √ ( (1/n) × ∑i=1n [ f^(xi) - yi ]2 )

"E 를 최소화하는 함수 f^*(x) 는 데이터 { (xi, yi) } 에 대한 최소자승근사값 (Least Square Approximation) 이라고 한다."

선형대수학적 관점: 부분공간으로의 직교 정사영 (Orthogonal Projection)

방정식 행렬 X β = y 에서 측정 오차로 인해 해가 존재하지 않을 때(Inconsistent System), y 를 X 의 열 공간(Column Space)으로 수직 정사영한 벡터 p = X β^ 를 찾는 것이 최소자승법의 본질입니다. 오차 벡터 e = y - X β^ 가 X 의 열 공간과 직교하므로 XT (y - X β^) = 0 이 성립하며, 이를 정리하면 정규방정식(Normal Equations)의 해가 유도됩니다:

β^ = (XT X)-1 XT y = X+ y
Deep Research

대규모 심층 연구: 신경망의 시초부터 LLM 초거대 양자화(GPTQ)까지

최소자승법(Least Squares)은 18세기 통계 기법에 그치지 않고, 초기 인공신경망의 탄생(Widrow-Hoff LMS)을 이끌었으며, 현대에는 수천억 개의 파라미터를 가진 거대 언어 모델(LLM)을 4-bit로 손실 없이 압축하는 2차 테일러 양자화(GPTQ, AWQ)의 핵심 수학적 엔진으로 재탄생했습니다.

AI 수리 토대 01 Widrow-Hoff (1960)

1. 최소평균제곱(LMS) 알고리즘: 현대 딥러닝 경사하강법의 모태

1960년 스탠퍼드 대학교의 버나드 위드로우(Bernard Widrow)와 테드 호프(Ted Hoff)는 아달린(Adaline) 신경망을 위해 LMS(Least Mean Squares) 알고리즘을 제안했습니다. 이는 행렬 역연산 (XTX)-1 을 직접 계산하지 않고, 매 타임스텝마다 들어오는 데이터 포인트에 대해 오차의 음의 기울기 방향으로 가중치를 점진적으로 갱신하는 확률적 경사하강법(SGD)의 최초 구현체였습니다:

wt+1 = wt + 2 α εt xt   (단, εt = yt - wtT xt)

오늘날 모든 트랜스포머와 딥러닝 모델의 역전파(Backpropagation) 학습은 이 위드로우-호프 최소자승 갱신 규칙을 다층 비선형 신경망으로 확장한 것입니다.

최신 LLM 혁신 02 Frantar et al., 2022 (GPTQ)

2. GPTQ (Accurate Post-Training Quantization for GPT): 2차 최소자승 양자화

70B, 405B 매개변수를 지닌 초거대 언어 모델을 단일/소형 GPU에서 구동하려면 FP16 가중치를 4-bit 정수(INT4)로 양자화해야 합니다. 단순 반올림(Round-to-Nearest)을 적용하면 심각한 환각과 성능 붕괴가 발생합니다.

GPTQ는 각 레이어의 출력 오차를 엄밀한 2차 가중치 최소자승 문제(Quadratic Least Squares)로 정식화하여 해결했습니다:

argminW^ || W X - W^ X ||22

입력 활성화 행렬의 공분산으로 정의되는 역헤시안 행렬 H-1 = (2 X XT)-1 을 계산한 후, 하나의 가중치 열(Column)을 INT4로 양자화할 때 발생하는 반올림 오차를 나머지 아직 양자화되지 않은 가중치들에 최소자승 보정 공식으로 실시간 전파하여 상쇄시킵니다:

w남은열 ← w남은열 - ( (wq - quant(wq)) / [H-1]qq ) × [H-1]:, q

이 최소자승 역헤시안 보정 덕분에 1,750억 개 파라미터 모델을 perplexity 손실 거의 없이 4-bit로 수 시간 만에 압축할 수 있게 되었습니다.

최신 LLM 혁신 03 Jin et al., NeurIPS 2023

3. RegMean: 폐쇄형 최소자승 회귀를 통한 모델 가중치 병합(Model Merging)

서로 다른 작업(코딩, 수학, 다국어 번역)으로 미세조정된 여러 LLM의 가중치 W1, W2, ..., Wk 를 재학습 없이 단일 모델 W* 로 병합할 때, 단순 가중 평균(Weight Average)은 파라미터 간의 상관관계를 파괴합니다.

RegMean(Regression Mean)은 병합된 모델이 각 개별 모델의 예측 출력을 가장 잘 재현하도록 프로베니우스 놈 최소자승 회귀 문제를 수립하고, 정규방정식의 닫힌 해(Closed-form)를 통해 최적의 결합 가중치를 순식간에 도출합니다.

Infographics

인포그래픽: 최소자승법 기반 LLM 4-bit 양자화(GPTQ) 동작 파이프라인

⚡ 1,750억 개 파라미터를 4-bit로 무손실 압축하는 최소자승 역헤시안 보정

Step 1. 활성화 수집

헤시안 행렬 구축

보정 데이터셋을 통과시켜 각 계층 입력 활성화의 공분산 행렬 H = 2 X XT 계산.

Step 2. 촐레스키 분해

역헤시안 H-1 안정화

수치적 안정성을 위해 H-1 의 촐레스키 분해를 수행하고 레이지 배치(Lazy Batch) 업데이트 준비.

Step 3. 열 단위 양자화

INT4 그리드 반올림

q번째 가중치 열 wq 를 가장 가까운 INT4 그리드로 반올림: quant(wq).

Step 4. 최소자승 보정

미양자화 가중치 갱신

발생한 양자화 오차를 역헤시안 가중치로 나머지 열들에 정밀 분배하여 전체 레이어 오차 상쇄.

고전 수치해석 (Gauss OLS)

파라미터 추정 관점

데이터 포인트 (xi, yi) 가 주어졌을 때, 참값 모델 f(x) 와의 거리 제곱합을 최소화하는 계수 β 를 단번에 닫힌 해로 계산.

현대 생성형 AI (LLM GPTQ / LMS)

시스템 출력 보존 및 압축 관점

FP16 모델과 양자화된 INT4 모델 사이의 특징 맵 출력 차이를 2차 최소자승으로 최소화하여 모델 추론 속도를 4배 가속하고 메모리 75% 절감.

Section 05

핵심 연관 용어 (Term)

수치해석, 확률 통계, 추론 및 패턴인식과 맞물리는 최소자승법의 주요 연관 주제들입니다.

Section 06

전문 연구 사이트 및 리소스 (Site)

LMS Applet (Least Mean Squares 시뮬레이터)

Kent State Univ

적응형 필터와 신경망에서 LMS 알고리즘이 가중치 평면 상에서 최소점을 찾아 수렴해 가는 과정을 시각화한 대화형 교육 리소스입니다.

Wikipedia : Least Squares

글로벌 백과사전

선형 최소자승, 비선형 최소자승(Gauss-Newton, Levenberg-Marquardt), 가중 최소자승(WLS)에 관한 포괄적 수리 정리 레퍼런스입니다.

AutoGPTQ & GPTQ Open Source Hub

최신 LLM 양자화 표준

Hugging Face와 PyTorch 생태계에서 초거대 모델(LLaMA, Mistral, Qwen 등)을 4-bit 최소자승법으로 압축하는 오픈소스 프레임워크입니다.

Prof. Kendall Atkinson Research Homepage

아이오와 대학교

'An Introduction to Numerical Analysis'의 저자 켄달 앳킨슨 교수의 공식 웹사이트로, 함수 근사론과 최소자승 곡선 적합의 교재 자료를 제공합니다.

Section 07

수학 & 공학 최소자승법 명강의 (Video)

기하학적 직교 정사영 관점의 OLS 유도와 현대 적응형 신호처리·신경망에서의 최소자승 알고리즘을 가장 깊이 있게 설명하는 세계적 석학의 강의입니다.

MIT OpenCourseWare (18.06) 선형대수학과 정사영

Projections onto Subspaces & Least Squares Approximations - Prof. Gilbert Strang

왜 잔차 벡터가 X 의 열 공간에 수직이어야 하는지, 기하학적 정사영 행렬 P = X(XTX)-1XT 의 수리적 원리를 직관적으로 강의합니다.

StatQuest with Josh Starmer 잔차 제곱합 최소화

Fitting a Line to Data: Least Squares Step-by-Step

관측 데이터로부터 잔차 제곱의 합(SSE)을 정의하고, 미분을 통해 기울기와 절편을 단계별로 도출하는 과정을 시각적으로 명쾌하게 해설합니다.