이 강의의 목표는 깊은 신경망이 안정적으로 학습되도록 돕는 세 가지 기법, 즉 초기화, 정규화, residual 연결을 수식으로 이해하는 것입니다.
먼저 오늘의 핵심 식을 봅니다.
h l + 1 = h l + F ( h l ) h l + 1 = h l + F ( h l )
이 식을 외우기 전에, 식 안의 말과 기호를 먼저 하나씩 풀어야 합니다.
말
뜻
h l h l l l
F ( h l ) F ( h l ) 그 층이 학습하는 변환(예: 선형 + 비선형)
residual 연결
입력 h l h l F ( h l ) F ( h l )
초기화
학습 시작 전 가중치를 정하는 방법
정규화
층의 값 분포를 안정적으로 맞추는 방법
기울기 소실
기울기가 층을 지나며 너무 작아지는 문제
기울기 폭발
기울기가 층을 지나며 너무 커지는 문제
수학에서 어려운 부분은 계산보다 읽기입니다. 뜻을 모르고 계산하면 공식이 암호처럼 보입니다.
아주 긴 전달 게임에서 말이 뒤로 갈수록 조금씩 작아지면, 마지막 사람에게는 거의 아무것도 남지 않습니다. 깊은 신경망에서도 기울기가 층을 지날 때마다 곱해지면서, 뒤로 갈수록 0에 가까워지거나 반대로 폭발할 수 있습니다.
이제 핵심 식에 실제 기호를 넣어 읽어 봅니다.
h l + 1 = h l + F ( h l ) h l + 1 = h l + F ( h l )
h l h l F ( h l ) F ( h l ) h l + 1 = h l + F ( h l ) h l + 1 = h l + F ( h l )
보통의 층은 h l + 1 = F ( h l ) h l + 1 = F ( h l ) h l h l F F
층을 깊게 쌓을수록 표현력은 커지지만, 학습은 오히려 불안정해집니다. 층을 지날 때마다 신호와 기울기가 일정 비율로 곱해지는데, 그 비율이 1보다 작으면 신호가 사라지고 1보다 크면 폭발하기 때문입니다.
그래서 세 가지 장치를 함께 씁니다. 초기화는 학습 시작 시점에 이 비율이 대략 1이 되도록 가중치의 분산을 맞춥니다. 정규화는 학습 도중 각 층의 값 분포를 다시 안정적으로 맞춥니다. residual 연결은 기울기가 지나가는 지름길을 만들어 소실을 막습니다. 이 세 장치가 없으면 수십 층짜리 모델은 사실상 학습되지 않습니다.
핵심 식을 h l h l
∂ h l + 1 ∂ h l = ∂ ∂ h l ( h l + F ( h l ) ) = 1 + ∂ F ( h l ) ∂ h l ∂ h l ∂ h l + 1 = ∂ h l ∂ ( h l + F ( h l ) ) = 1 + ∂ h l ∂ F ( h l )
여기서 나온 + 1 + 1 0 0
residual이 없을 때 한 층의 미분이 ∂ F ∂ h l ∂ h l ∂ F L L
∂ h L ∂ h 0 = ∏ l = 0 L − 1 ∂ F ( h l ) ∂ h l ∂ h 0 ∂ h L = l = 0 ∏ L − 1 ∂ h l ∂ F ( h l )
이 됩니다. 각 항이 예를 들어 0.1 0 . 1 10 1 0
0. 1 10 = 1 0 − 10 0 . 1 1 0 = 1 0 − 1 0
으로 기울기가 사실상 0이 됩니다. 이것이 기울기 소실입니다.
residual이 있을 때 각 층의 미분은 1 + ∂ F ∂ h l 1 + ∂ h l ∂ F
∂ h L ∂ h 0 = ∏ l = 0 L − 1 ( 1 + ∂ F ( h l ) ∂ h l ) ∂ h 0 ∂ h L = l = 0 ∏ L − 1 ( 1 + ∂ h l ∂ F ( h l ) )
이 됩니다. 같은 값 ∂ F ∂ h l = 0.1 ∂ h l ∂ F = 0 . 1
( 1 + 0.1 ) 10 = 1. 1 10 ≈ 2.59 ( 1 + 0 . 1 ) 1 0 = 1 . 1 1 0 ≈ 2 . 5 9
로, F F 1 1 h l h l
층이 z = ∑ i = 1 n in w i x i z = ∑ i = 1 n in w i x i n in n in
Var ( z ) = n in Var ( w ) Var ( x ) V a r ( z ) = n in V a r ( w ) V a r ( x )
입니다. 출력의 분산이 입력의 분산과 같아지려면, 즉 층을 지나도 신호 크기가 유지되려면
n in Var ( w ) = 1 ⟹ Var ( w ) = 1 n in n in V a r ( w ) = 1 ⟹ V a r ( w ) = n in 1
이어야 합니다. 이것이 Xavier(Glorot) 초기화 입니다. 순전파와 역전파를 함께 고려하면 입력 수와 출력 수의 평균을 써서
Var ( w ) = 2 n in + n out V a r ( w ) = n in + n out 2
로 둡니다.
ReLU R e L U
Var ( w ) = 2 n in V a r ( w ) = n in 2
로 둡니다. 이것이 He 초기화 입니다. 예를 들어 입력이 n in = 100 n in = 1 0 0 ReLU R e L U Var ( w ) = 0.02 V a r ( w ) = 0 . 0 2 0.141 0 . 1 4 1
정규화는 층의 값 x x γ γ β β
x ^ = x − μ σ 2 + ε , y = γ x ^ + β x ^ = σ 2 + ε x − μ , y = γ x ^ + β
μ μ σ 2 σ 2 ε ε γ , β γ , β
BatchNorm 은 미니배치 안의 같은 채널 값들로 μ μ σ 2 σ 2 LayerNorm 은 한 샘플 안의 특징들로 μ μ σ 2 σ 2
작은 예로 x = ( 1 , 2 , 3 ) x = ( 1 , 2 , 3 )
μ = 1 + 2 + 3 3 = 2 , σ 2 = ( 1 − 2 ) 2 + ( 2 − 2 ) 2 + ( 3 − 2 ) 2 3 = 2 3 ≈ 0.667 μ = 3 1 + 2 + 3 = 2 , σ 2 = 3 ( 1 − 2 ) 2 + ( 2 − 2 ) 2 + ( 3 − 2 ) 2 = 3 2 ≈ 0 . 6 6 7
이고, ε ε
x ^ = ( 1 − 2 0.667 , 0 , 3 − 2 0.667 ) ≈ ( − 1.225 , 0 , 1.225 ) x ^ = ( 0 . 6 6 7 1 − 2 , 0 , 0 . 6 6 7 3 − 2 ) ≈ ( − 1 . 2 2 5 , 0 , 1 . 2 2 5 )
가 됩니다. 값이 평균 0, 분산 1로 맞춰졌고, 이후 γ γ β β
residual 연결 h l + 1 = h l + F ( h l ) h l + 1 = h l + F ( h l )
그 미분은 1 + ∂ F ∂ h l 1 + ∂ h l ∂ F + 1 + 1
층을 여러 개 지날 때 residual이 없으면 0. 1 10 0 . 1 1 0 1. 1 10 1 . 1 1 0
Xavier 초기화는 Var ( w ) = 1 / n in V a r ( w ) = 1 / n in Var ( w ) = 2 / n in V a r ( w ) = 2 / n in
정규화는 x − μ σ 2 + ε γ + β σ 2 + ε x − μ γ + β
BatchNorm은 배치로, LayerNorm은 한 샘플의 특징으로 통계를 구한다.
핵심 식은 다음과 같습니다.
h l + 1 = h l + F ( h l ) h l + 1 = h l + F ( h l )
∂ h l + 1 ∂ h l = 1 + ∂ F ∂ h l ∂ h l ∂ h l + 1 = 1 + ∂ h l ∂ F + 1 + 1 ReLU R e L U BatchNorm과 LayerNorm은 각각 어느 축으로 μ μ σ 2 σ 2