research

Regularization은 한 원리의 여러 모습이다

Regularization은 한 원리의 여러 모습이다

L1, L2, dropout, early stopping, decision tree pruning, Bayesian prior, data augmentation, weight tying, batch normalization. 처음 ML을 배울 때는 각자 다른 도구로 보인다. 그러나 한 발 떨어져 보면 모두 같은 원리의 변형이다 — "표현력은 충분히 두되, 그 안의 단순한 영역을 선호하라."

이 노트는 그 통합된 시각을 그린다.

한 그림으로

세 시각은 수학적으로 동등하다 (Lagrangian duality, Bayesian-frequentist 대응). 어느 시각으로 보든 같은 도구가 나온다. 차이는 사람의 직관에 어느 게 더 잘 와닿느냐.

세 시각의 동등성

시각 1 — Penalty (Frequentist)

목적함수에 복잡도 penalty를 더한다.

min⁡h  L(h,D)⏟데이터 적합+λ⋅Ω(h)⏟복잡도 penalty\min_h \; \underbrace{L(h, D)}_{\text{데이터 적합}} + \lambda \cdot \underbrace{\Omega(h)}_{\text{복잡도 penalty}}

  • Ridge: Ω(w)=∥w∥22\Omega(w) = \|w\|_2^2
  • Lasso: Ω(w)=∥w∥1\Omega(w) = \|w\|_1
  • Tree pruning: Ω(T)=\Omega(T) = 노드 수
  • Early stopping: Ω\Omega가 명시적이진 않지만, optimization 시간을 짧게 해 weight가 멀리 못 가게 함 (= L2와 비슷한 효과)

시각 2 — Constraint (최적화)

복잡도에 상한을 두고, 그 안에서 데이터 적합을 최대화한다.

min⁡h  L(h,D)subject toΩ(h)≤C\min_h \; L(h, D) \quad \text{subject to} \quad \Omega(h) \leq C

Lagrangian duality로 시각 1과 정확히 동등하다. λ\lambda와 CC가 1:1 대응 (KKT 조건).

직관적으론 다르다: penalty는 "복잡함에 비용", constraint는 "복잡함에 한계". 그러나 같은 답.

시각 3 — Bayesian prior

복잡한 가설에 낮은 prior를 부여하고 MAP 또는 posterior를 본다.

P(h∣D)∝P(D∣h)⋅P(h)P(h \mid D) \propto P(D \mid h) \cdot P(h)

Log를 취하면:

log⁡P(h∣D)=log⁡P(D∣h)+log⁡P(h)+const\log P(h \mid D) = \log P(D \mid h) + \log P(h) + \text{const}

−log⁡P(D∣h)-\log P(D \mid h)는 loss, −log⁡P(h)-\log P(h)는 penalty. Bayesian MAP은 penalized likelihood와 정확히 같다.

Prior대응되는 penalty
Gaussian N(0,σ2)\mathcal{N}(0, \sigma^2)L2 (∥w∥2\|w\|^2)
LaplaceL1 (∥w∥\|w\|)
Spike-and-slabsparsity
균일 priorpenalty 없음 (vanilla MLE)

이미 bias-variance-tradeoff에서 본 Ridge ↔ Gaussian prior 대응이 이 시각의 한 사례.

같은 동전의 세 면

세 시각이 같은 답을 주지만, 주는 직관은 다르다:

시각강한 직관
Penalty"단순할수록 보상" — 최적화 관점
Constraint"표현력의 한계" — 가설 공간 관점
Bayesian"어느 가설이 그럴듯한가" — 인식론 관점

세 시각이 모두 occam-mdl-kolmogorov의 깊은 정당화로 거슬러 올라간다 — 짧은 prior = 단순한 가설 = 일반화 잘하는 가설.

도구별 unified view

각 regularization 도구를 무엇이 effective hypothesis space를 줄이는가의 관점으로.

L2 (Ridge)

  • Penalty 시각: λ∥w∥2\lambda \|w\|^2
  • 효과: weight를 0 쪽으로 끌어당김 → 큰 weight 가설을 효과적으로 제거
  • Effective HH: {h:∥w∥≤C}\{h : \|w\| \leq C\}
  • VC dim 관점: 같은 모델 구조 안에서 effective VC dim 감소

L1 (Lasso)

  • Penalty 시각: λ∥w∥1\lambda \|w\|_1
  • 효과: weight를 정확히 0으로 만듦 → feature selection
  • Effective HH: {h:\{h : k개 이하 feature만 사용}\} — 더 작은 hypothesis space
  • 단순함의 측도가 0이 아닌 파라미터 수 = sparsity

Dropout

  • Penalty 시각으로 보긴 어색하지만, 암묵적으로 ensemble penalty. 학습 중 random subnet을 매번 사용 → 어느 단일 뉴런에도 의존 못 하게 함
  • Bayesian 시각: 뉴런별로 Bernoulli prior를 가진 ensemble model
  • Effective HH: 모든 가능한 subnet의 ensemble
  • 핵심: 표현력 큰 NN을 작게 쓰지 않으면서, 효과적으로 단순한 함수로 수렴시키는 도구

Early stopping

  • 명시적 penalty 없음
  • Optimization landscape 관점: 짧은 학습 = weight가 초기값에서 멀리 못 감 = 작은 norm
  • 이론적으로 L2 penalty와 거의 동등 (Friedman & Popescu, 2003)
  • 실용적으론 가장 저렴한 regularizer — hyperparameter가 epoch 수 하나

Decision tree pruning

  • Penalty 시각: λ⋅\lambda \cdot 노드 수
  • Cost-complexity pruning: min⁡TL(T,D)+λ∣T∣\min_T L(T, D) + \lambda |T|
  • 단순함 = 작은 트리, decision-tree-structure-and-hypothesis의 "29=5122^9 = 512개 중 작은 트리" 직관의 형식화

Bayesian prior

  • 가장 명시적인 시각 3 형태
  • Prior 분산이 작을수록 강한 단순함 prior
  • 다른 모든 도구가 이 시각의 특수 케이스로 환원 가능

Data augmentation

  • 의외로 regularizer다 — 같은 의미의 다양한 입력을 보여줘 model이 invariant 함수만 학습하도록 강제
  • Effective HH: invariance를 만족하는 함수만 — 더 작은 공간
  • 데이터 측면에서 단순함을 강제하는 우회 경로

Batch normalization, weight tying, parameter sharing (CNN)

  • 모두 representation에 구조를 강제 → effective HH 축소
  • "implicit regularizer"로 분류되기도

→ 공통 패턴: 어느 도구든 "표현력 큰 HH 안에서 어떤 영역을 선호하는가"의 형태. 단순함의 정의와 강제 방식만 다를 뿐.

약점 — 메타 수준의 simple-vs-expressive

여기서 흥미로운 함정. regularizer 자체를 고르는 것이 또 하나의 simple-vs-expressive 결정이다.

regularizer 선택 자체가 메타 hypothesis space의 선택이고, λ\lambda 선택은 그 안의 단순함 선택이다. 무한 회귀할 수 있다.

실무에서는 어떻게 이걸 끊는가?

우회 도구무엇을 함
Cross-validationλ\lambda를 데이터 기반으로 선택
Domain knowledge"이 문제는 sparsity가 자연스럽다" → L1
Default conventionsklearn의 default가 L2, NN의 default가 dropout 등
Empirical Bayesprior parameter도 데이터로 추정

각 우회는 메타 단계를 한 번에 끊는다 — 그러나 결국 데이터 기반 선택으로 돌아온다는 게 흥미. occam-mdl-kolmogorov에서 본 패턴 — Solomonoff prior가 incomputable이라 실무에서는 데이터 기반 근사로 돌아오는 것 — 이 메타 수준에서도 반복된다.

대안적 흐름 — Implicit regularization

지금까지 본 도구들은 모두 explicit regularization — 명시적인 penalty/constraint/prior.

그러나 modern ML의 도전은 explicit regularization 없이도 일반화하는 현상.

  • SGD에 noise가 있으면 그것 자체가 regularizer 역할 (Mandt et al.)
  • Over-parameterized NN이 작은 norm 영역으로 자동 수렴 (Soudry et al.)
  • 초기화 자체가 prior 역할

이걸 implicit regularization이라 한다. 같은 model을 vanilla GD로 풀어도 SGD의 noise가 단순한 영역을 골라낸다는 가설.

이 가설이 맞다면 simple-vs-expressive thesis가 깨지는 게 아니라 — 단순함이 어디서 오느냐의 답이 옮겨가는 것. 명시적 도구가 아니라 학습 동역학에서 자연스럽게 나오는 것.

→ 4번 축 follow-up에서 본격 다룸.

인사이트

  1. 모든 regularizer는 한 원리의 변형이다. Penalty / constraint / Bayesian prior 세 시각이 동등하다는 사실이 통합 시각의 핵심. 새 regularizer를 만나면 이 셋 중 어느 시각으로 가장 잘 보이는지 묻는 게 좋은 출발.

  2. Effective hypothesis space의 축소가 본질. 모델 구조를 작게 하지 않고도 effective capacity를 줄이는 게 modern regularization의 핵심 발상. 큰 모델 + 강한 regularizer가 작은 모델보다 자주 잘 작동하는 이유.

  3. Regularizer 선택은 메타 수준의 같은 문제. 무한 회귀를 cross-validation으로 끊지만, 그게 깔끔한 해결이 아니라 실용적 우회임을 인지해야 함.

  4. 단순함의 정의가 도구마다 다름이 약점이자 자유. L1의 sparsity, L2의 norm, tree의 노드 수, dropout의 ensemble — 각 도메인의 자연스러운 단순함을 표현할 수 있다는 게 강점이지만, 도메인 무관한 단일 단순함이 없다는 게 occam-mdl-kolmogorov의 incomputable 한계와 연결되는 약점.

다음 노트

← research 목록으로홈으로