96강에서 직선을 따라 걸었습니다.
γ ( t ) = a + t u ⟹ d d t f ( γ ( t ) ) ∣ t = 0 = ∇ f ⋅ u γ ( t ) = a + t u ⟹ d t d f ( γ ( t ) ) ∣ ∣ ∣ ∣ t = 0 = ∇ f ⋅ u
직선이 아니면 어떻게 될까요. 그리고 변수들이 서로 얽혀서, 하나를 흔들면 여럿이 함께 움직이면 어떻게 될까요.
이 질문이 실무에서 중요한 이유가 있습니다. 신경망의 손실은 이렇게 생겼습니다.
L ⟵ 출력 ⟵ 층 k ⟵ ⋯ ⟵ 층 1 ⟵ 가중치 L ⟵ 출력 ⟵ 층 k ⟵ ⋯ ⟵ 층 1 ⟵ 가중치
가중치 하나를 흔들면 그 뒤의 모든 것이 연쇄적으로 움직입니다. 손실이 얼마나 변하는지 알려면 그 연쇄를 따라가야 합니다.
40강에서 한 변수의 연쇄법칙을 배웠습니다.
d d x g ( f ( x ) ) = g ′ ( f ( x ) ) f ′ ( x ) d x d g ( f ( x ) ) = g ′ ( f ( x ) ) f ′ ( x )
다변수에서는 곱이 아니라 합이 됩니다. 흔들린 변수가 여러 경로로 결과에 도달하기 때문이며, 각 경로의 기여를 모두 더해야 합니다.
이 강의는 그 규칙을 세우고, 역전파가 이 규칙의 반복 적용일 뿐 임을 보입니다.
곡선을 따른 미분을 연쇄법칙으로 계산할 수 있습니다.
중간변수가 여럿인 경우의 연쇄법칙을 쓸 수 있습니다.
계산 그래프에서 경로를 세어 미분을 조립할 수 있습니다.
편미분과 전미분을 구별해 판정할 수 있습니다.
순방향과 역방향 계산의 비용 차이를 설명할 수 있습니다.
문제. f ( x , y ) = x 2 y f ( x , y ) = x 2 y γ ( t ) = ( cos t , sin t ) γ ( t ) = ( cos t , sin t ) ∇ f ∇ f γ ′ ( t ) γ ′ ( t ) ∇ f ( γ ( t ) ) ⋅ γ ′ ( t ) ∇ f ( γ ( t ) ) ⋅ γ ′ ( t ) f ( γ ( t ) ) f ( γ ( t ) )
생각의 실마리. 곡선 위의 점은 시각 t t f ( γ ( t ) ) f ( γ ( t ) ) 한 변수 함수 입니다. 미분할 수 있고, 그 값을 두 가지 방법으로 구해 맞춰 봅니다.
풀이. (1) ∇ f = ( 2 x y , x 2 ) ∇ f = ( 2 x y , x 2 ) γ ′ ( t ) = ( − sin t , cos t ) γ ′ ( t ) = ( − sin t , cos t )
(2) γ ( t ) = ( cos t , sin t ) γ ( t ) = ( cos t , sin t )
∇ f ⋅ γ ′ = 2 cos t sin t ⋅ ( − sin t ) + 2 t ⋅ cos t = − 2 cos t 2 t + 3 t ∇ f ⋅ γ ′ = 2 cos t sin t ⋅ ( − sin t ) + cos 2 t ⋅ cos t = − 2 cos t sin 2 t + cos 3 t
(3) f ( γ ( t ) ) = 2 t sin t f ( γ ( t ) ) = cos 2 t sin t
d d t ( 2 t sin t ) = − 2 cos t sin t ⋅ sin t + 2 t cos t d t d ( cos 2 t sin t ) = − 2 cos t sin t ⋅ sin t + cos 2 t cos t
같습니다. 검산에서
t t 연쇄법칙
직접미분
0.523599 0 . 5 2 3 5 9 9 + 0.21650635 + 0 . 2 1 6 5 0 6 3 5 + 0.21650635 + 0 . 2 1 6 5 0 6 3 5
0.785398 0 . 7 8 5 3 9 8 − 0.35355339 − 0 . 3 5 3 5 5 3 3 9 − 0.35355339 − 0 . 3 5 3 5 5 3 3 9
1.047198 1 . 0 4 7 1 9 8 − 0.62500000 − 0 . 6 2 5 0 0 0 0 0 − 0.62500000 − 0 . 6 2 5 0 0 0 0 0
이 문제에서 배우는 것: 경로를 따른 연쇄법칙.
정리. γ : R → R n γ : R → R n f f γ ( t ) γ ( t )
d d t f ( γ ( t ) ) = ∇ f ( γ ( t ) ) ⋅ γ ′ ( t ) d t d f ( γ ( t ) ) = ∇ f ( γ ( t ) ) ⋅ γ ′ ( t )
입니다.
96강의 공식이 특별한 경우로 들어갑니다. γ ( t ) = a + t u γ ( t ) = a + t u γ ′ ( t ) = u γ ′ ( t ) = u
경로
γ ′ γ ′ 결과
직선
u u D u f D u f
곡선
시각마다 다릅니다
순간 방향으로 잰 값
**곡선의 미분은 "지금 이 순간 어느 방향으로 얼마나 빠르게 가는가"**입니다. 따라서 이 정리는 다음과 같이 읽힙니다.
높이의 변화율 = 지형의 기울기 ⋅ 나의 속도 높이의 변화율 = 지형의 기울기 ⋅ 나의 속도
산을 걷는 사람의 고도 변화율이 기울기와 걸음의 내적이라는 말이며, 방향이 어긋나면 그만큼 덜 오릅니다.
등고선 위를 걸으면 0 0 γ γ f ( γ ( t ) ) f ( γ ( t ) ) 0 0 ∇ f ⊥ γ ′ ∇ f ⊥ γ ′ 95강 문제 4를 다시 증명한 셈 이며, 이번에는 곡선 매개화를 써서 더 직접적입니다.
바로 확인 1.
확인 1-1. 경로를 따른 연쇄법칙을 쓰세요.
답. d d t f ( γ ( t ) ) = ∇ f ⋅ γ ′ ( t ) d t d f ( γ ( t ) ) = ∇ f ⋅ γ ′ ( t )
확인 1-2. 이 식에서 96강의 공식을 어떻게 얻습니까?
답. γ γ γ ′ = u γ ′ = u
확인 1-3. 등고선 위의 곡선에서 이 값은 얼마입니까?
답. 0 0
문제. z = x 2 + y 2 z = x 2 + y 2 x = s t x = s t y = s / t y = s / t ∂ z / ∂ s ∂ z / ∂ s ∂ z / ∂ t ∂ z / ∂ t s = 2 s = 2 t = 3 t = 3
생각의 실마리. s s x x y y 두 경로가 모두 z z 하므로 각각의 기여를 더해야 합니다.
풀이. (1) s s z z
∂ z ∂ s = ∂ z ∂ x ∂ x ∂ s + ∂ z ∂ y ∂ y ∂ s = 2 x ⋅ t + 2 y ⋅ 1 t ∂ s ∂ z = ∂ x ∂ z ∂ s ∂ x + ∂ y ∂ z ∂ s ∂ y = 2 x ⋅ t + 2 y ⋅ t 1
(2) 같은 방식으로
∂ z ∂ t = 2 x ⋅ s + 2 y ⋅ ( − s t 2 ) ∂ t ∂ z = 2 x ⋅ s + 2 y ⋅ ( − t 2 s )
(3) s = 2 s = 2 t = 3 t = 3 x = 6 x = 6 y = 2 / 3 y = 2 / 3
미분
연쇄법칙
수치
∂ z / ∂ s ∂ z / ∂ s + 36.444444 + 3 6 . 4 4 4 4 4 4 + 36.444444 + 3 6 . 4 4 4 4 4 4
∂ z / ∂ t ∂ z / ∂ t + 23.703704 + 2 3 . 7 0 3 7 0 4 + 23.703704 + 2 3 . 7 0 3 7 0 4
이 문제에서 배우는 것: 다변수 연쇄법칙.
다변수 연쇄법칙. z = f ( x 1 , … , x n ) z = f ( x 1 , … , x n ) x i = x i ( t 1 , … , t m ) x i = x i ( t 1 , … , t m )
∂ z ∂ t j = ∑ i = 1 n ∂ z ∂ x i ∂ x i ∂ t j ∂ t j ∂ z = i = 1 ∑ n ∂ x i ∂ z ∂ t j ∂ x i
입니다.
한 변수와의 차이가 합에 있습니다.
상황
형태
한 변수
\dfrac{dz}{dt}=\dfrac{dz}{dx}\dfrac{dx}
다변수
\dfrac{\partial z}{\partial t}=\sum_{i}\dfrac{\partial z}{\partial x_{i}}\dfrac{\partial x_{i}}
곱은 경로를 따라가는 일이고 합은 경로들을 모으는 일 입니다. 이 두 동작이 연쇄법칙의 전부이며, 문제 3에서 그림으로 정리합니다.
기억법이 하나 있습니다. 형태만 보면 ∂ x i ∂ x i ∂ z / ∂ t ∂ z / ∂ t
∂ z ∂ x ∂ x ∂ t 에서 ∂ x 가 약분되는 것처럼 보입니다 ∂ x ∂ z ∂ t ∂ x 에서 ∂ x 가 약분되는 것처럼 보입니다
편리하지만 정당한 논증은 아닙니다. 94강 심화 3에서 ∂ x ∂ y ∂ y ∂ z ∂ z ∂ x = − 1 ∂ y ∂ x ∂ z ∂ y ∂ x ∂ z = − 1
바로 확인 2.
확인 2-1. 다변수 연쇄법칙의 일반형을 쓰세요.
답. ∂ z / ∂ t j = ∑ i ( ∂ z / ∂ x i ) ( ∂ x i / ∂ t j ) ∂ z / ∂ t j = ∑ i ( ∂ z / ∂ x i ) ( ∂ x i / ∂ t j )
확인 2-2. 왜 합이 나옵니까?
답. 흔든 변수가 여러 경로로 결과에 도달하기 때문입니다.
확인 2-3. 곱과 합은 각각 무엇에 대응합니까?
답. 곱은 한 경로를 따라가는 일이고 합은 경로들을 모으는 일입니다.
문제. 다음 계산을 봅니다.
u = w x + b , y = tanh u , L = ( y − 목표 ) 2 u = w x + b , y = tanh u , L = ( y − 목표 ) 2
w = 0.5 w = 0 . 5 x = 2 x = 2 b = 0.1 b = 0 . 1 = 0.3 = 0 . 3 u u y y L L ∂ L / ∂ y ∂ L / ∂ y ∂ y / ∂ u ∂ y / ∂ u ∂ u / ∂ w ∂ u / ∂ w ∂ L / ∂ w ∂ L / ∂ w
생각의 실마리. w w L L 하나뿐 입니다. 경로가 하나면 합할 것이 없으니 곱만 남습니다.
풀이. (1) 검산에서
u = 1.1000 , y = 0.8004990218 , L = 0.2504992708 u = 1 . 1 0 0 0 , y = 0 . 8 0 0 4 9 9 0 2 1 8 , L = 0 . 2 5 0 4 9 9 2 7 0 8
(2) 각 마디의 국소 미분입니다.
미분
식
값
∂ L / ∂ y ∂ L / ∂ y 2 ( y − 목표 ) 2 ( y − 목표 ) 1.0009980435 1 . 0 0 0 9 9 8 0 4 3 5
∂ y / ∂ u ∂ y / ∂ u 1-y^
0.3592013162 0 . 3 5 9 2 0 1 3 1 6 2
∂ u / ∂ w ∂ u / ∂ w x x 2.0 2 . 0
(3) 곱하면
∂ L ∂ w = 1.0009980435 × 0.3592013162 × 2.0 = 0.7191196294 ∂ w ∂ L = 1 . 0 0 0 9 9 8 0 4 3 5 × 0 . 3 5 9 2 0 1 3 1 6 2 × 2 . 0 = 0 . 7 1 9 1 1 9 6 2 9 4
검산의 수치 미분이 0.7191196293 0 . 7 1 9 1 1 9 6 2 9 3 마지막 자리만 다릅니다. 중심차분의 절단오차이며 94강 심화 5에서 본 크기입니다.
이 문제에서 배우는 것: 계산 그래프와 경로 규칙.
계산을 마디와 화살표로 그립니다.
w ⟶ u ⟶ y ⟶ L w ⟶ u ⟶ y ⟶ L
각 화살표에 국소 미분을 적어 두면 규칙이 단순합니다.
경로 규칙. 두 마디 사이의 미분은 모든 경로에 대해, 그 경로의 화살표들의 곱을 더한 것 입니다.
동작
언제
곱합니다
한 경로를 따라 이어질 때
더합니다
여러 경로가 같은 마디에 모일 때
문제 2를 이 규칙으로 다시 봅니다. s s z z s → x → z s → x → z s → y → z s → y → z
∂ z ∂ s = ∂ x ∂ s ∂ z ∂ x ⏟ 경로 1 + ∂ y ∂ s ∂ z ∂ y ⏟ 경로 2 ∂ s ∂ z = 경로 1 ∂ s ∂ x ∂ x ∂ z + 경로 2 ∂ s ∂ y ∂ y ∂ z
이 그림이 232강의 계산 그래프이고 233강의 역전파입니다. 이 문제의 tanh tanh ∂ y / ∂ u = 1 − y 2 ∂ y / ∂ u = 1 − y 2
여기서 미리 볼 것이 하나 있습니다. ∣ ∂ y / ∂ u ∣ = ∣ 1 − y 2 ∣ ≤ 1 ∣ ∂ y / ∂ u ∣ = ∣ 1 − y 2 ∣ ≤ 1 y y ± 1 ± 1 0 0
∂ L ∂ w 1 = ∂ L ∂ y k ∏ i = 1 k ( 국소 미분 ) ∂ w 1 ∂ L = ∂ y k ∂ L i = 1 ∏ k ( 국소 미분 )
작은 수를 여러 번 곱하면 지수적으로 작아집니다. 이것이 기울기 소실이며, 249강에서 정면으로 다룹니다. 문제의 뿌리가 연쇄법칙의 곱 구조에 있다는 점을 지금 확인해 둡니다.
바로 확인 3.
확인 3-1. 경로 규칙을 한 문장으로 쓰세요.
답. 각 경로의 화살표를 곱하고 경로들끼리 더합니다.
확인 3-2. tanh tanh
답. 1 − y 2 1 − y 2
확인 3-3. 기울기 소실이 연쇄법칙의 어떤 구조에서 옵니까?
답. 국소 미분들이 곱해지는 구조에서 옵니다.
문제. f ( x , y ) = x 2 + y 2 f ( x , y ) = x 2 + y 2 y y y = x 2 y = x 2 y y ∂ f / ∂ x ∂ f / ∂ x y = x 2 y = x 2 d f / d x d f / d x x = 1 , 2 , 3 x = 1 , 2 , 3
생각의 실마리. 같은 기호 "x x y y ∂ ∂ d d
풀이. (1) y y
∂ f ∂ x = 2 x ∂ x ∂ f = 2 x
(2) y = x 2 y = x 2 x x
d f d x = ∂ f ∂ x + ∂ f ∂ y d y d x = 2 x + 2 y ⋅ 2 x = 2 x + 4 x 3 d x d f = ∂ x ∂ f + ∂ y ∂ f d x d y = 2 x + 2 y ⋅ 2 x = 2 x + 4 x 3
(3) 검산에서
x x 부분 ∂ f / ∂ x ∂ f / ∂ x
전체 d f / d x d f / d x
수치
1 1 2 2 6 6 6.000000 6 . 0 0 0 0 0 0
2 2 4 4 36 3 6 36.000000 3 6 . 0 0 0 0 0 0
3 3 6 6 114 1 1 4 114.000000 1 1 4 . 0 0 0 0 0 0
실제 변화율은 전미분입니다. x = 3 x = 3 19 1 9
직접 확인해도 같습니다. y = x 2 y = x 2 f = x 2 + x 4 f = x 2 + x 4 2 x + 4 x 3 2 x + 4 x 3
이 문제에서 배우는 것: 무엇이 따라 움직이는지를 먼저 정합니다.
판정 절차. 미분하기 전에 (가) 어떤 변수가 독립인지, (나) 나머지가 그것에 어떻게 의존하는지를 적습니다. 의존하는 변수가 있으면 편미분만으로는 부족하고 연쇄항을 더해야 합니다.
혼동을 막는 표기가 있습니다.
표기
뜻
∂ f / ∂ x ∂ f / ∂ x y y
d f / d x d f / d x y y x x
(\partial f/\partial x)_
고정한 것을 명시합니다
셋째 줄이 94강 심화 4에서 본 열역학 표기 입니다. 무엇을 고정했는지가 실험 조건이라 반드시 밝힙니다.
이 구별이 기계학습에서 실제 오류를 만듭니다. 손실 L ( θ ) L ( θ ) θ θ
상황
무엇을 놓치는가
정규화 통계량
배치 평균과 분산이 θ θ
목표값 분리
의도적으로 연쇄를 끊습니다
둘째 줄은 실수가 아니라 설계 입니다. 강화학습의 목표망은 일부러 기울기를 끊어 학습을 안정시키며, 283강에서 그 이유를 다룹니다. 의도적으로 끊는 것과 실수로 빠뜨리는 것을 구별하려면 이 강의의 판정 절차가 필요합니다.
바로 확인 4.
확인 4-1. ∂ f / ∂ x ∂ f / ∂ x d f / d x d f / d x
답. 앞은 다른 변수를 고정하고 뒤는 따라 움직이게 둡니다.
확인 4-2. y = x 2 y = x 2 d f / d x d f / d x
답. f x + f y ⋅ 2 x f x + f y ⋅ 2 x
확인 4-3. 미분하기 전에 먼저 정할 것은 무엇입니까?
답. 어떤 변수가 독립이고 나머지가 어떻게 의존하는지입니다.
문제. 세 단계 합성의 미분이 야코비 행렬의 곱이라 합니다.
J = J 3 J 2 J 1 , J 3 ∈ R 1 × 100 , J 2 ∈ R 100 × 500 , J 1 ∈ R 500 × 1000 J = J 3 J 2 J 1 , J 3 ∈ R 1 × 1 0 0 , J 2 ∈ R 1 0 0 × 5 0 0 , J 1 ∈ R 5 0 0 × 1 0 0 0
(1) 왼쪽부터 곱할 때의 곱셈 횟수를 구하세요.
생각의 실마리. 행렬 곱은 결합법칙이 성립하므로 결과는 같습니다. 그런데 66강에서 본 것처럼 곱셈 횟수는 순서에 따라 달라집니다.
풀이. (1) ( J 3 J 2 ) ( J 3 J 2 ) 1 × 100 1 × 1 0 0 100 × 500 1 0 0 × 5 0 0 1 ⋅ 100 ⋅ 500 1 ⋅ 1 0 0 ⋅ 5 0 0 1 × 500 1 × 5 0 0 J 1 J 1 1 ⋅ 500 ⋅ 1000 1 ⋅ 5 0 0 ⋅ 1 0 0 0
100 × 500 + 500 × 1000 = 550000 1 0 0 × 5 0 0 + 5 0 0 × 1 0 0 0 = 5 5 0 0 0 0
(2) ( J 2 J 1 ) ( J 2 J 1 ) 100 ⋅ 500 ⋅ 1000 1 0 0 ⋅ 5 0 0 ⋅ 1 0 0 0 100 × 1000 1 0 0 × 1 0 0 0 J 3 J 3 1 ⋅ 100 ⋅ 1000 1 ⋅ 1 0 0 ⋅ 1 0 0 0
100 × 500 × 1000 + 100 × 1000 = 50100000 1 0 0 × 5 0 0 × 1 0 0 0 + 1 0 0 × 1 0 0 0 = 5 0 1 0 0 0 0 0
(3) 검산에서
방식
곱셈 횟수
왼쪽부터
550000 5 5 0 0 0 0
오른쪽부터
50100000 5 0 1 0 0 0 0 0
비율
91.1 9 1 . 1
왼쪽부터가 압도적으로 유리합니다.
이 문제에서 배우는 것: 역방향 미분.
두 방식에 이름이 있습니다.
이름
곱하는 순서
유리한 경우
순방향 미분
입력 쪽부터
입력이 적고 출력이 많을 때
역방향 미분
출력 쪽부터
입력이 많고 출력이 적을 때
왼쪽부터 곱하는 것이 역방향입니다. J 3 J 3
왜 이렇게 차이가 나는지는 행렬의 모양에 있습니다. 왼쪽부터 곱하면 언제나 행이 하나인 벡터 를 들고 다닙니다. 오른쪽부터 곱하면 중간에 100 × 1000 1 0 0 × 1 0 0 0
( 1 × 100 ) ( 100 × 500 ) ⏟ 벡터가 유지됩니다 vs ( 100 × 500 ) ( 500 × 1000 ) ⏟ 큰 행렬이 생깁니다 벡터가 유지됩니다 ( 1 × 1 0 0 ) ( 1 0 0 × 5 0 0 ) vs 큰 행렬이 생깁니다 ( 1 0 0 × 5 0 0 ) ( 5 0 0 × 1 0 0 0 )
출력이 하나인 것이 결정적 입니다. 손실함수는 스칼라 하나를 내놓으므로 언제나 이 상황이며, 그래서 딥러닝은 예외 없이 역방향을 씁니다.
L : R ( 파라미터 수 ) → R L : R ( 파라미터 수 ) → R
파라미터가 수십억 개여도 출력이 하나라 역방향 한 번 이면 모든 편미분이 나옵니다. 순방향이면 파라미터마다 한 번씩 훑어야 합니다.
방식
기울기 전체를 얻는 비용
수치미분
함수 평가 n n
순방향 자동미분
함수 평가 n n
역방향 자동미분
함수 평가 몇 번 규모
94강 심화 5에서 "수치미분을 쓰지 않는다"고 한 이유가 여기 있습니다. 정확도 문제만이 아니라 비용이 파라미터 수에 비례합니다. 역방향은 그렇지 않습니다.
대신 대가가 있습니다. 역방향은 순전파의 중간값들을 저장해 두어야 국소 미분을 계산할 수 있습니다. 문제 3에서 ∂ y / ∂ u = 1 − y 2 ∂ y / ∂ u = 1 − y 2 y y 메모리를 써서 계산을 줄이는 거래 이며, 233강에서 이 균형을 다룹니다.
바로 확인 5.
확인 5-1. 역방향 미분은 어느 쪽부터 곱합니까?
답. 출력 쪽부터입니다.
확인 5-2. 출력이 하나일 때 어느 방식이 유리합니까?
답. 역방향입니다.
확인 5-3. 역방향이 치르는 대가는 무엇입니까?
답. 순전파의 중간값을 저장해야 하는 메모리 비용입니다.
형태
식
경로 하나
d d t f ( γ ( t ) ) = ∇ f ⋅ γ ′ d t d f ( γ ( t ) ) = ∇ f ⋅ γ ′
중간변수 여럿
\dfrac{\partial z}{\partial t}=\sum_{i}\dfrac{\partial z}{\partial x_{i}}\dfrac{\partial x_{i}}
경로 규칙
경로마다 곱하고 경로끼리 더합니다
행렬 형태
J = J k ⋯ J 1 J = J k ⋯ J 1
구별
뜻
∂ f / ∂ x ∂ f / ∂ x 나머지를 고정합니다
d f / d x d f / d x 나머지가 따라 움직입니다
순방향
입력 쪽부터 곱합니다
역방향
출력 쪽부터 곱합니다
자주 하는 실수
바로잡기
연쇄항을 빠뜨립니다
의존하는 변수를 먼저 적습니다
∂ ∂ 기억법일 뿐입니다
곱만 하고 합을 잊습니다
경로가 여럿이면 더합니다
출력이 하나인데 순방향을 씁니다
역방향이 훨씬 쌉니다
문제 6. z = x 2 + y z = x 2 + y x = t x = t y = t 3 y = t 3 d z / d t d z / d t
답. 2 x ⋅ 1 + 1 ⋅ 3 t 2 = 2 t + 3 t 2 2 x ⋅ 1 + 1 ⋅ 3 t 2 = 2 t + 3 t 2
문제 7. z = x y z = x y x = cos t x = cos t y = sin t y = sin t d z / d t d z / d t
답. y ( − sin t ) + x cos t = 2 t − 2 t = cos 2 t y ( − sin t ) + x cos t = cos 2 t − sin 2 t = cos 2 t
문제 8. z = e x y z = e x y x = s + t x = s + t y = s − t y = s − t ∂ z / ∂ s ∂ z / ∂ s
답. y e x y ⋅ 1 + x e x y ⋅ 1 = ( x + y ) e x y = 2 s e s 2 − t 2 y e x y ⋅ 1 + x e x y ⋅ 1 = ( x + y ) e x y = 2 s e s 2 − t 2
문제 9. 문제 8에서 ∂ z / ∂ t ∂ z / ∂ t
답. y e x y − x e x y = ( y − x ) e x y = − 2 t e s 2 − t 2 y e x y − x e x y = ( y − x ) e x y = − 2 t e s 2 − t 2
문제 10. w = f ( x , y , z ) w = f ( x , y , z ) t t d w / d t d w / d t
답. f x x ′ + f y y ′ + f z z ′ f x x ′ + f y y ′ + f z z ′
문제 11. z = f ( x , y ) z = f ( x , y ) y = g ( x ) y = g ( x ) d z / d x d z / d x
답. f x + f y g ′ ( x ) f x + f y g ′ ( x )
문제 12. f = x 2 + y 2 f = x 2 + y 2 y = 3 x y = 3 x x = 1 x = 1 d f / d x d f / d x
답. 2 x + 2 y ⋅ 3 = 2 + 18 = 20 2 x + 2 y ⋅ 3 = 2 + 1 8 = 2 0
문제 13. σ ( u ) = 1 / ( 1 + e − u ) σ ( u ) = 1 / ( 1 + e − u ) σ σ
답. σ ( 1 − σ ) σ ( 1 − σ )
문제 14. L = ( y − c ) 2 L = ( y − c ) 2 y = σ ( u ) y = σ ( u ) ∂ L / ∂ u ∂ L / ∂ u
답. 2 ( y − c ) σ ( 1 − σ ) 2 ( y − c ) σ ( 1 − σ )
문제 15. 경로가 셋이면 미분은 어떻게 조립합니까?
답. 세 경로 각각의 곱을 구해 모두 더합니다.
문제 16. 입력 1 1 1000 1 0 0 0
답. 순방향입니다. 입력이 적기 때문입니다.
문제 17. 파라미터 1 0 9 1 0 9
답. 역방향입니다.
문제 18. 역방향 계산에 저장이 필요한 이유를 쓰세요.
답. 각 마디의 국소 미분을 계산하려면 순전파의 중간값이 필요하기 때문입니다.
심화 1. 다변수 연쇄법칙을 증명하세요.
z = f ( x ) z = f ( x ) x = x ( t ) x = x ( t ) f f a = x ( t 0 ) a = x ( t 0 ) x x t 0 t 0
증명. Δ x = x ( t 0 + Δ t ) − x ( t 0 ) Δ x = x ( t 0 + Δ t ) − x ( t 0 ) x x
Δ x = x ′ ( t 0 ) Δ t + o ( ∣ Δ t ∣ ) Δ x = x ′ ( t 0 ) Δ t + o ( ∣ Δ t ∣ )
입니다. f f
f ( a + Δ x ) − f ( a ) = ∇ f ( a ) ⋅ Δ x + o ( ∥ Δ x ∥ ) f ( a + Δ x ) − f ( a ) = ∇ f ( a ) ⋅ Δ x + o ( ∥ Δ x ∥ )
첫 식을 둘째 식에 넣으면
Δ z = ∇ f ( a ) ⋅ ( x ′ ( t 0 ) Δ t + o ( ∣ Δ t ∣ ) ) + o ( ∥ Δ x ∥ ) Δ z = ∇ f ( a ) ⋅ ( x ′ ( t 0 ) Δ t + o ( ∣ Δ t ∣ ) ) + o ( ∥ Δ x ∥ )
양변을 Δ t Δ t ∇ f ⋅ x ′ ( t 0 ) ∇ f ⋅ x ′ ( t 0 ) ∇ f ∇ f 0 0 ∥ Δ x ∥ ≤ C ∣ Δ t ∣ ∥ Δ x ∥ ≤ C ∣ Δ t ∣
o ( ∥ Δ x ∥ ) Δ t = o ( ∥ Δ x ∥ ) ∥ Δ x ∥ ⋅ ∥ Δ x ∥ ∣ Δ t ∣ ⋅ ( ± 1 ) ⟶ 0 Δ t o ( ∥ Δ x ∥ ) = ∥ Δ x ∥ o ( ∥ Δ x ∥ ) ⋅ ∣ Δ t ∣ ∥ Δ x ∥ ⋅ ( ± 1 ) ⟶ 0
입니다. 따라서
d z d t = ∇ f ( a ) ⋅ x ′ ( t 0 ) ■ d t d z = ∇ f ( a ) ⋅ x ′ ( t 0 ) ■
증명이 전미분가능성을 정확히 필요로 합니다. 편미분만 있으면 둘째 식이 성립하지 않아 첫 줄부터 진행되지 않습니다. 96강 문제 5의 함수를 여기에 넣으면 연쇄법칙도 깨집니다.
셋째 항의 처리가 증명의 핵심 입니다. Δ x Δ x 0 0 Δ t Δ t x x
심화 2. 연쇄법칙을 행렬로 쓰세요.
95강 심화 5에서 미분이 선형사상이라 했습니다. 그 관점에서 연쇄법칙은 한 줄입니다.
D ( g ∘ f ) ( a ) = D g ( f ( a ) ) ∘ D f ( a ) D ( g ∘ f ) ( a ) = D g ( f ( a ) ) ∘ D f ( a )
합성함수의 선형근사는 선형근사의 합성 이라는 뜻이며, 이것이 전부입니다. 확인해 보면
g ( f ( a + h ) ) ≈ g ( f ( a ) + D f ( a ) h ) ≈ g ( f ( a ) ) + D g ( f ( a ) ) D f ( a ) h g ( f ( a + h ) ) ≈ g ( f ( a ) + D f ( a ) h ) ≈ g ( f ( a ) ) + D g ( f ( a ) ) D f ( a ) h
이고 마지막 줄의 계수가 곧 D ( g ∘ f ) D ( g ∘ f )
표현행렬로 옮기면 행렬 곱 입니다. 77강에서 합성의 표현행렬이 표현행렬의 곱이라 했으므로
J g ∘ f = J g J f J g ∘ f = J g J f
성분으로 풀어 쓰면 문제 2의 공식이 됩니다.
( J g ∘ f ) i j = ∑ k ( J g ) i k ( J f ) k j ⟺ ∂ z i ∂ t j = ∑ k ∂ z i ∂ x k ∂ x k ∂ t j ( J g ∘ f ) i j = k ∑ ( J g ) i k ( J f ) k j ⟺ ∂ t j ∂ z i = k ∑ ∂ x k ∂ z i ∂ t j ∂ x k
**행렬 곱의 정의 자체가 "경로마다 곱하고 경로끼리 더한다"**입니다. 66강에서 행렬 곱을 정의할 때 왜 그런 모양이었는지가 여기서 답을 얻습니다.
관점
연쇄법칙
성분
경로의 곱을 더합니다
행렬
J_{g}J_
선형사상
합성입니다
계산 그래프
화살표를 따라 곱합니다
네 가지가 같은 것 이며, 98강에서 야코비 행렬을 정식으로 정의해 이 그림을 완성합니다.
문제 5에서 곱셈 순서를 골랐던 것도 이 관점에서 자연스럽습니다. 행렬 곱의 결합법칙이 순방향과 역방향의 자유를 줍니다. 결과는 같고 비용만 다릅니다.
심화 3. 음함수 미분을 연쇄법칙으로 다시 유도하세요.
94강 심화 3에서 결과만 썼던 식을 이제 정식으로 유도합니다.
F ( x , y , z ) = 0 F ( x , y , z ) = 0 z z x , y x , y x x x x F F
x ⟶ F (직접) , x ⟶ z ⟶ F x ⟶ F ( 직접 ) , x ⟶ z ⟶ F
경로 규칙에 의해
∂ F ∂ x + ∂ F ∂ z ∂ z ∂ x = 0 ∂ x ∂ F + ∂ z ∂ F ∂ x ∂ z = 0
우변은 상수 0 0 0 0 F z ≠ 0 F z = 0
∂ z ∂ x = − F x F z ∂ x ∂ z = − F z F x
음수 부호가 어디서 왔는지가 이제 분명합니다. F F x x z z
등위집합 위에 머무르려면 변화들이 서로를 지워야 합니다 등위집합 위에 머무르려면 변화들이 서로를 지워야 합니다
이 관점에서 94강 심화 3의 − 1 − 1
∂ x ∂ y ∂ y ∂ z ∂ z ∂ x = ( − 1 ) 3 ⋅ F y F x F z F y F x F z = − 1 ∂ y ∂ x ∂ z ∂ y ∂ x ∂ z = ( − 1 ) 3 ⋅ F x F y F y F z F z F x = − 1
세 번의 상쇄가 음수 부호를 셋 만들어 냅니다.
같은 논법이 라그랑주 승수법과 이어집니다. 113강에서 제약 g = 0 g = 0 ∇ g ∇ g
심화 4. 오일러의 동차함수 정리를 연쇄법칙으로 증명하세요.
동차함수. 모든 t > 0 t > 0 f ( t x ) = t k f ( x ) f ( t x ) = t k f ( x ) f f k k
예를 들어 f = x 3 + x y 2 f = x 3 + x y 2 f ( t x , t y ) = t 3 x 3 + t 3 x y 2 = t 3 f f ( t x , t y ) = t 3 x 3 + t 3 x y 2 = t 3 f 3 3
오일러 정리. f f k k
x ⋅ ∇ f ( x ) = k f ( x ) x ⋅ ∇ f ( x ) = k f ( x )
입니다.
증명. 정의식의 양변을 t t
d d t f ( t x ) = ∇ f ( t x ) ⋅ x d t d f ( t x ) = ∇ f ( t x ) ⋅ x
우변은
d d t ( t k f ( x ) ) = k t k − 1 f ( x ) d t d ( t k f ( x ) ) = k t k − 1 f ( x )
두 식이 모든 t > 0 t > 0 t = 1 t = 1
∇ f ( x ) ⋅ x = k f ( x ) ■ ∇ f ( x ) ⋅ x = k f ( x ) ■
검산에서 f = x 3 + x y 2 f = x 3 + x y 2
점
xf_{x}+yf_
3 f 3 f
( 2 , 1 ) ( 2 , 1 ) 30.0 3 0 . 0 30.0 3 0 . 0
( 1 , 3 ) ( 1 , 3 ) 30.0 3 0 . 0 30.0 3 0 . 0
두 점에서 값이 같은 것은 우연 입니다. f ( 2 , 1 ) = 8 + 2 = 10 f ( 2 , 1 ) = 8 + 2 = 1 0 f ( 1 , 3 ) = 1 + 9 = 10 f ( 1 , 3 ) = 1 + 9 = 1 0
이 정리가 쓰이는 자리를 적어 둡니다.
분야
쓰임
경제학
규모수익과 생산함수의 분배
열역학
시량변수의 성질
기계학습
ReLU 망의 1 1
셋째 줄이 최근의 응용입니다. 편향이 없는 ReLU 신경망은 가중치에 대해 양의 동차성을 가지므로, 가중치를 상수배해도 출력이 그에 비례합니다. 이 성질이 정규화와 학습률의 상호작용을 설명하며, 211강과 관련됩니다.
심화 5. 순방향과 역방향의 비용을 일반적으로 비교하세요.
문제 5를 일반화합니다. f : R n → R m f : R n → R m k k d 0 = n d 0 = n d 1 , … , d k = m d 1 , … , d k = m
J = J k J k − 1 ⋯ J 1 , J i ∈ R d i × d i − 1 J = J k J k − 1 ⋯ J 1 , J i ∈ R d i × d i − 1
역방향(왼쪽부터). 매 단계 m × d i m × d i
비용 = m ∑ i = 1 k d i − 1 비용 = m i = 1 ∑ k d i − 1
순방향(오른쪽부터). 매 단계 d i × n d i × n
비용 = n ∑ i = 1 k d i 비용 = n i = 1 ∑ k d i
**비율이 대략 m / n m / n
상황
유리한 방식
예
m ≪ n m ≪ n 역방향
손실함수의 기울기
m ≫ n m ≫ n 순방향
한 파라미터에 대한 모든 출력의 민감도
m ≈ n m ≈ n 비슷합니다
야코비 전체가 필요할 때
딥러닝은 언제나 첫째 줄 입니다. m = 1 m = 1 n n n n
둘째 줄도 실제로 쓰입니다. 물리 시뮬레이션에서 입력 파라미터 몇 개에 대한 수많은 출력의 민감도를 볼 때가 그렇습니다.
중간 형태도 있습니다. 야코비 전체가 필요하면 어느 쪽도 확실히 유리하지 않고, 최적 곱셈 순서를 찾는 문제 자체가 어려워집니다. 66강 심화에서 본 행렬 연쇄 곱 최적화가 그것이며, 일반적인 계산 그래프에서는 최적 순서를 찾는 문제가 NP-난해입니다.
실무의 절충이 하나 더 있습니다. 역방향은 중간값을 모두 저장해야 하는데, 큰 모델에서는 메모리가 부족합니다. 그래서 일부만 저장하고 필요할 때 다시 계산하는 방법을 씁니다.
저장 ⟷ 재계산 저장 ⟷ 재계산
k k k k O ( k ) O ( k )
심화 6. 98강으로 어떻게 이어지는지 정리하세요.
이 강의에서 출력이 하나인 f f 출력이 여럿이면 무엇이 달라질까요.
f : R n → R m , f ( x ) = ( f 1 ( x ) , … , f m ( x ) ) f : R n → R m , f ( x ) = ( f 1 ( x ) , … , f m ( x ) )
각 성분이 기울기 벡터를 하나씩 가지므로, 그것들을 행으로 쌓으면 행렬이 됩니다.
J = ( ∇ f 1 ⊤ ∇ f m ⊤ ) ∈ R m × n J = ⎝ ⎜ ⎜ ⎛ ∇ f 1 ⊤ ⋮ ∇ f m ⊤ ⎠ ⎟ ⎟ ⎞ ∈ R m × n
98강이 이 행렬에 이름과 성질을 줍니다. 이 강의에서 이미 쓴 것을 정식화하는 셈이며, 심화 2에서 미리 본 J g ∘ f = J g J f J g ∘ f = J g J f
야코비 행렬에서 새로 나오는 것이 둘 있습니다.
첫째는 행렬식입니다. m = n m = n det J det J 부피가 얼마나 늘어나는지 를 말합니다. 79강에서 행렬식이 부피 배율이라 했는데, 국소적으로 같은 해석이 성립합니다. 105강의 변수변환 공식이 이 사실 위에 세워집니다.
∬ D f d A = ∬ D ′ f ( g ( u ) ) ∣ det J g ∣ d A ′ ∬ D f d A = ∬ D ′ f ( g ( u ) ) ∣ det J g ∣ d A ′
둘째는 역함수 정리입니다. det J ≠ 0 det J = 0
정리하면 01단원의 마지막 강의가 하는 일은 이렇습니다.
강의
미분의 정체
95
벡터 ∇ f ∇ f
96
그 벡터와의 내적
97
내적의 연쇄
98
행렬 J J
네 강의가 하나의 이야기 입니다. 미분은 선형사상이고, 그 표현이 차원에 따라 벡터에서 행렬로 자랍니다.
import numpy as np
# --- 문제 1: 곡선을 따라가는 미분 ---------------------------------------
f = lambda x, y: x**2*y
gr = lambda x, y: np.array([2*x*y, x**2])
gam = lambda t: np.array([np.cos(t), np.sin(t)])
dga = lambda t: np.array([-np.sin(t), np.cos(t)])
print(" t 연쇄법칙 직접미분")
for t in [np.pi/6, np.pi/4, np.pi/3]:
chain = gr(*gam(t)) @ dga(t)
e = 1e-7
direct = (f(*gam(t+e)) - f(*gam(t-e)))/(2*e)
print(" %.6f %+12.8f %+12.8f" % (t, chain, direct))
# t 연쇄법칙 직접미분
# 0.523599 +0.21650635 +0.21650635
# 0.785398 -0.35355339 -0.35355339
# 1.047198 -0.62500000 -0.62500000
# --- 문제 2: 중간변수가 여럿인 경우 -------------------------------------
s, t = 2.0, 3.0
x, y = s*t, s/t
zs = 2*x*t + 2*y*(1/t)
zt = 2*x*s + 2*y*(-s/t**2)
z = lambda s, t: (s*t)**2 + (s/t)**2
e = 1e-6
print(" dz/ds 연쇄 %+.6f 수치 %+.6f" % (zs, (z(s+e,t)-z(s-e,t))/(2*e)))
print(" dz/dt 연쇄 %+.6f 수치 %+.6f" % (zt, (z(s,t+e)-z(s,t-e))/(2*e)))
# dz/ds 연쇄 +36.444444 수치 +36.444444
# dz/dt 연쇄 +23.703704 수치 +23.703704
# --- 문제 3: 계산 그래프를 따라 -----------------------------------------
w, xin, b, tgt = 0.5, 2.0, 0.1, 0.3
u = w*xin + b; yv = np.tanh(u); L = (yv - tgt)**2
print(" u = %.4f, y = %.10f, L = %.10f" % (u, yv, L))
dLdy = 2*(yv - tgt); dydu = 1 - yv**2; dudw = xin
print(" dL/dy = %.10f" % dLdy)
print(" dy/du = %.10f" % dydu)
print(" du/dw = %.1f" % dudw)
print(" dL/dw = %.10f" % (dLdy*dydu*dudw))
Lw = lambda w: (np.tanh(w*xin + b) - tgt)**2
print(" 수치 확인 %.10f" % ((Lw(w+e) - Lw(w-e))/(2*e)))
# u = 1.1000, y = 0.8004990218, L = 0.2504992708
# dL/dy = 1.0009980435
# dy/du = 0.3592013162
# du/dw = 2.0
# dL/dw = 0.7191196294
# 수치 확인 0.7191196293
# 마지막 자리가 다른 것은 중심차분의 절단오차입니다.
# --- 문제 4: 편미분과 전미분은 다르다 -----------------------------------
F = lambda x, y: x**2 + y**2
print(" f = x^2+y^2 위에서 y = x^2 인 경로를 따라갑니다")
for xv in [1.0, 2.0, 3.0]:
par = 2*xv # y 를 고정한 편미분
tot = 2*xv + 2*(xv**2)*(2*xv) # 경로를 따른 전미분
g = lambda x: F(x, x**2)
print(" x=%.0f 부분 df/dx=%5.0f 전체 df/dx=%6.0f 수치 %10.6f" % (xv, par, tot, (g(xv+e)-g(xv-e))/(2*e)))
# f = x^2+y^2 위에서 y = x^2 인 경로를 따라갑니다
# x=1 부분 df/dx= 2 전체 df/dx= 6 수치 6.000000
# x=2 부분 df/dx= 4 전체 df/dx= 36 수치 36.000000
# x=3 부분 df/dx= 6 전체 df/dx= 114 수치 114.000000
# x=3 에서 19 배 차이가 납니다. 연쇄항을 빠뜨리면 이만큼 틀립니다.
# --- 문제 5: 순방향과 역방향의 비용 -------------------------------------
d1, d2, d3 = 1000, 500, 100
rev = d3*d2 + d2*d1
fwd = d3*d2*d1 + d3*d1
print(" 야코비 곱 J3(1x%d) J2(%dx%d) J1(%dx%d)" % (d3, d3, d2, d2, d1))
print(" 역방향(왼쪽부터) 곱셈 %d 회" % rev)
print(" 순방향(오른쪽부터) 곱셈 %d 회" % fwd)
print(" 비율 %.1f 배" % (fwd/rev))
# 야코비 곱 J3(1x100) J2(100x500) J1(500x1000)
# 역방향(왼쪽부터) 곱셈 550000 회
# 순방향(오른쪽부터) 곱셈 50100000 회
# 비율 91.1 배
# --- 심화 4: 오일러의 동차함수 정리 -------------------------------------
h = lambda x, y: x**3 + x*y**2
hx = lambda x, y: 3*x**2 + y**2
hy = lambda x, y: 2*x*y
for p in [(2.0,1.0), (1.0,3.0)]:
lhs = p[0]*hx(*p) + p[1]*hy(*p)
print(" (%.0f,%.0f) x fx + y fy = %.1f, 3f = %.1f" % (p[0], p[1], lhs, 3*h(*p)))
# (2,1) x fx + y fy = 30.0, 3f = 30.0
# (1,3) x fx + y fy = 30.0, 3f = 30.0
문제 4의 결과가 이 강의에서 가장 실용적입니다. x = 3 x = 3 6 6 114 1 1 4
무엇이 따라 움직이는지 먼저 적으십시오 무엇이 따라 움직이는지 먼저 적으십시오
98강에서 이 연쇄를 행렬로 적습니다.
경로를 따른 연쇄법칙을 쓰세요.
96강의 공식을 여기서 어떻게 얻습니까?
중간변수가 여럿일 때의 일반형을 쓰세요.
왜 합이 나오는지 쓰세요.
경로 규칙을 한 문장으로 쓰세요.
∂ f / ∂ x ∂ f / ∂ x d f / d x d f / d x 미분 전에 먼저 확인할 것을 쓰세요.
순방향과 역방향의 차이를 쓰세요.
출력이 하나면 어느 방식이 유리하고 비율은 대략 얼마입니까?
역방향이 치르는 대가를 쓰세요.
정답.
d d t f ( γ ( t ) ) = ∇ f ⋅ γ ′ ( t ) d t d f ( γ ( t ) ) = ∇ f ⋅ γ ′ ( t ) γ γ γ ′ = u γ ′ = u ∂ z / ∂ t j = ∑ i ( ∂ z / ∂ x i ) ( ∂ x i / ∂ t j ) ∂ z / ∂ t j = ∑ i ( ∂ z / ∂ x i ) ( ∂ x i / ∂ t j ) 흔든 변수가 여러 경로로 결과에 도달하기 때문입니다.
경로마다 화살표를 곱하고 경로들끼리 더합니다.
앞은 나머지를 고정하고 뒤는 따라 움직이게 둡니다.
어떤 변수가 독립이고 나머지가 어떻게 의존하는지입니다.
야코비 곱을 입력 쪽부터 하느냐 출력 쪽부터 하느냐입니다.
역방향이며 비율은 대략 입력 수를 출력 수로 나눈 값입니다.
순전파의 중간값을 저장하는 메모리 비용입니다.
기호
읽는 법
뜻
γ ( t ) γ ( t ) 경로
곡선의 매개화입니다
γ ′ ( t ) γ ′ ( t ) 속도벡터
순간 방향과 빠르기입니다
∂ z ∂ t j ∂ t j ∂ z 연쇄 편미분
경로들의 합입니다
J J 야코비 행렬
98강에서 정의합니다
순방향 미분
forward mode
입력 쪽부터 곱합니다
역방향 미분
reverse mode
출력 쪽부터 곱합니다
계산 그래프
computation graph
마디와 화살표의 그림입니다
동차함수
homogeneous
f ( t x ) = t k f ( x ) f ( t x ) = t k f ( x )
오일러 정리
Euler
x ⋅ ∇ f = k f x ⋅ ∇ f = k f
다음 98강에서는 야코비 행렬 을 다룹니다. 출력이 여럿인 함수의 미분을 행렬로 세우고, 이 강의의 연쇄법칙이 행렬 곱 임을 정리로 확인합니다. 그 행렬의 행렬식이 부피 배율 이라는 사실이 105강 변수변환의 근거가 되며, 79강에서 본 행렬식의 기하적 의미가 국소적으로 되살아납니다.