94강에서 편미분은 좌표축 방향만 봤습니다. 95강에서 기울기 벡터를 세웠고, 그 벡터가 등고선에 수직이며 크기가 "가파른 정도"라고 했습니다.
아직 증명하지 않은 것이 하나 남았습니다.
∥ ∇ f ∥ 가 정말 가장 큰 증가율인가 ∥ ∇ f ∥ 가 정말 가장 큰 증가율인가
이를 확인하려면 임의의 방향으로 변화율을 재는 도구 가 필요합니다. 축 방향만 재는 편미분으로는 답할 수 없습니다.
방법은 단순합니다. 단위벡터 u u
t ⟼ f ( a + t u ) t ⟼ f ( a + t u )
이것을 t = 0 t = 0
이 강의의 결론은 한 줄입니다.
D u f ( a ) = ∇ f ( a ) ⋅ u D u f ( a ) = ∇ f ( a ) ⋅ u
무한히 많은 방향의 변화율이 벡터 하나에 전부 들어 있습니다. 그리고 여기에 63강의 코시-슈바르츠를 쓰면 최급증가 방향이 곧바로 나옵니다. 109강 경사하강법이 왜 − ∇ f − ∇ f
방향도함수를 정의하고 정의대로 계산할 수 있습니다.
D u f = ∇ f ⋅ u D u f = ∇ f ⋅ u 최급증가와 최급감소 방향을 구할 수 있습니다.
방향에 따른 변화율을 각도로 설명할 수 있습니다.
공식이 성립하려면 전미분가능성이 필요함을 압니다.
문제. f ( x , y ) = x 2 + y 2 f ( x , y ) = x 2 + y 2 ( 3 , 4 ) ( 3 , 4 ) u = ( 1 , 0 ) u = ( 1 , 0 ) ( 1 , 1 ) / 2 ( 1 , 1 ) / 2 ( 0 , 1 ) ( 0 , 1 ) ( f ( a + t u ) − f ( a ) ) / t ( f ( a + t u ) − f ( a ) ) / t t t ∇ f ( 3 , 4 ) ⋅ u ∇ f ( 3 , 4 ) ⋅ u
생각의 실마리. 방향 u u 직선 위를 걷는 것 이 되고, 그 위에서 f f
풀이. (1)과 (2) 검산에서 ∇ f ( 3 , 4 ) = ( 6 , 8 ) ∇ f ( 3 , 4 ) = ( 6 , 8 )
방향 \mathbf
차분비
\nabla f\cdot\mathbf
( + 1.0000 , + 0.0000 ) ( + 1 . 0 0 0 0 , + 0 . 0 0 0 0 ) + 6.000000 + 6 . 0 0 0 0 0 0 + 6.000000 + 6 . 0 0 0 0 0 0
( + 0.7071 , + 0.7071 ) ( + 0 . 7 0 7 1 , + 0 . 7 0 7 1 ) + 9.899495 + 9 . 8 9 9 4 9 5 + 9.899495 + 9 . 8 9 9 4 9 5
( + 0.0000 , + 1.0000 ) ( + 0 . 0 0 0 0 , + 1 . 0 0 0 0 ) + 8.000000 + 8 . 0 0 0 0 0 0 + 8.000000 + 8 . 0 0 0 0 0 0
( − 0.8000 , + 0.6000 ) ( − 0 . 8 0 0 0 , + 0 . 6 0 0 0 ) + 0.000000 + 0 . 0 0 0 0 0 0 + 0.000000 + 0 . 0 0 0 0 0 0
(3) 모든 방향에서 정확히 같습니다.
이 문제에서 배우는 것: 방향도함수.
방향도함수. 단위벡터 u u
D u f ( a ) = t → 0 f ( a + t u ) − f ( a ) t D u f ( a ) = t → 0 lim t f ( a + t u ) − f ( a )
를 a a u u
u u u u t t 크기를 1 1
공식을 증명합니다.
정리. f f a a u u
D u f ( a ) = ∇ f ( a ) ⋅ u D u f ( a ) = ∇ f ( a ) ⋅ u
입니다.
증명. 95강의 정의에서 h = t u h = t u ∥ h ∥ = ∣ t ∣ ∥ h ∥ = ∣ t ∣
f ( a + t u ) − f ( a ) = ∇ f ( a ) ⋅ ( t u ) + o ( ∣ t ∣ ) f ( a + t u ) − f ( a ) = ∇ f ( a ) ⋅ ( t u ) + o ( ∣ t ∣ )
양변을 t t
f ( a + t u ) − f ( a ) t = ∇ f ( a ) ⋅ u + o ( ∣ t ∣ ) t t f ( a + t u ) − f ( a ) = ∇ f ( a ) ⋅ u + t o ( ∣ t ∣ )
이고 t → 0 t → 0 0 0 ■ ■
증명이 세 줄인 것은 95강에서 무거운 일을 이미 했기 때문 입니다. 전미분가능성이 "모든 방향을 한꺼번에 근사한다"는 조건이었으니, 방향 하나를 골라 꺼내 쓰는 일은 대입에 지나지 않습니다.
무한히 많은 방향의 정보가 벡터 하나에 압축되어 있습니다 무한히 많은 방향의 정보가 벡터 하나에 압축되어 있습니다
이것이 기울기 벡터의 값어치입니다. 방향마다 따로 극한을 계산할 필요 없이 내적 한 번 이면 됩니다.
바로 확인 1.
확인 1-1. 방향도함수의 정의를 쓰세요.
답. t → 0 ( f ( a + t u ) − f ( a ) ) / t lim t → 0 ( f ( a + t u ) − f ( a ) ) / t
확인 1-2. u u
답. 크기를 고정해야 방향들끼리 값을 비교할 수 있기 때문입니다.
확인 1-3. D u f D u f
답. ∇ f ⋅ u ∇ f ⋅ u
문제. 같은 함수와 점을 봅니다.u = e 1 = ( 1 , 0 ) u = e 1 = ( 1 , 0 ) D u f D u f u = e 2 = ( 0 , 1 ) u = e 2 = ( 0 , 1 )
생각의 실마리. 표준기저 방향으로 재면 다른 좌표는 움직이지 않습니다. 이것이 바로 94강에서 한 일입니다.
풀이. 검산에서
D e 1 f = ∇ f ⋅ ( 1 , 0 ) = 6 , D e 2 f = ∇ f ⋅ ( 0 , 1 ) = 8 D e 1 f = ∇ f ⋅ ( 1 , 0 ) = 6 , D e 2 f = ∇ f ⋅ ( 0 , 1 ) = 8
(3) 각각 f x ( 3 , 4 ) f x ( 3 , 4 ) f y ( 3 , 4 ) f y ( 3 , 4 )
이 문제에서 배우는 것: 편미분은 방향도함수의 특수한 경우입니다.
f x = D e 1 f , f y = D e 2 f f x = D e 1 f , f y = D e 2 f
내적을 성분으로 풀어 쓰면 이유가 분명합니다.
∇ f ⋅ e i = ( f x 1 , … , f x n ) ⋅ e i = f x i ∇ f ⋅ e i = ( f x 1 , … , f x n ) ⋅ e i = f x i
표준기저와의 내적이 성분을 뽑아내는 연산 이며, 72강에서 정규직교기저의 좌표가 내적으로 구해진다고 한 것과 같습니다.
개념들의 포함관계를 정리합니다.
개념
보는 방향
개수
편미분
좌표축
n n
방향도함수
임의의 단위벡터
무한히 많습니다
기울기 벡터
전부를 담습니다
하나
아래로 갈수록 정보가 많아 보이지만 실은 그렇지 않습니다. 전미분가능하면 셋이 같은 정보량을 갖습니다. 편미분 n n ∇ f ∇ f ∇ f ∇ f
n 개의 수 ⟶ 무한히 많은 방향의 변화율 n 개의 수 ⟶ 무한히 많은 방향의 변화율
다만 전미분가능하지 않으면 이 사슬이 끊어집니다. 문제 5에서 봅니다.
바로 확인 2.
확인 2-1. f x f x
답. D e 1 f D e 1 f
확인 2-2. ∇ f ⋅ e i ∇ f ⋅ e i
답. i i
확인 2-3. 편미분 n n
답. 전미분가능하다면 모든 방향의 변화율을 알 수 있습니다.
문제. 같은 함수와 점을 봅니다.∥ ∇ f ( 3 , 4 ) ∥ ∥ ∇ f ( 3 , 4 ) ∥ D u f D u f u u
생각의 실마리. D u f = ∇ f ⋅ u D u f = ∇ f ⋅ u u u 고정된 벡터와의 내적을 단위벡터 위에서 최대화 하는 문제이며, 63강에서 이미 답을 아는 문제입니다.
풀이. (1) ∥ ( 6 , 8 ) ∥ = 10 ∥ ( 6 , 8 ) ∥ = 1 0
(2) 코시-슈바르츠에 의해
∣ ∇ f ⋅ u ∣ ≤ ∥ ∇ f ∥ ∥ u ∥ = ∥ ∇ f ∥ = 10 ∣ ∇ f ⋅ u ∣ ≤ ∥ ∇ f ∥ ∥ u ∥ = ∥ ∇ f ∥ = 1 0
이고 등호는 u u ∇ f ∇ f u = ( 0.6 , 0.8 ) u = ( 0 . 6 , 0 . 8 ) 10 1 0
(3) u = ( − 0.6 , − 0.8 ) u = ( − 0 . 6 , − 0 . 8 ) − 10 − 1 0 100000 1 0 0 0 0 0 10.000000 1 0 . 0 0 0 0 0 0 − 10.000000 − 1 0 . 0 0 0 0 0 0
이 문제에서 배우는 것: 기울기가 최급증가 방향입니다.
최급증가 정리. f f a a ∇ f ( a ) ≠ 0 ∇ f ( a ) = 0
∥ u ∥ = 1 D u f ( a ) = ∥ ∇ f ( a ) ∥ ∥ u ∥ = 1 max D u f ( a ) = ∥ ∇ f ( a ) ∥
이며 최댓값은 u = ∇ f / ∥ ∇ f ∥ u = ∇ f / ∥ ∇ f ∥ − ∥ ∇ f ∥ − ∥ ∇ f ∥
95강 문제 3에서 예고한 세 가지 뜻이 이로써 모두 증명됐습니다.
성질
증명한 곳
선형근사의 계수
95강 문제 1
등고선에 수직
95강 문제 4
최급증가 방향
이 문제
세 성질이 서로 무관하지 않습니다. 등고선에 수직인 방향이 곧 가장 가파른 방향입니다. 등고선을 따라 걸으면 높이가 그대로이고, 거기서 조금 벗어날수록 높이가 변하며, 완전히 직각으로 벗어날 때 가장 많이 변합니다.
이 정리가 곧바로 알고리즘이 됩니다.
경사하강법의 근거. f f − ∇ f − ∇ f ∥ ∇ f ∥ ∥ ∇ f ∥
109강에서 이를 반복하는 알고리즘을 세웁니다.
x k + 1 = x k − η ∇ f ( x k ) x k + 1 = x k − η ∇ f ( x k )
"가장 가파른"이 "가장 빠른"은 아닙니다. 이 정리는 순간적인 감소율만 말하고, 한 걸음 뒤의 일은 말하지 않습니다. 93강 심화 5에서 길쭉한 등고선을 봤는데, 그런 지형에서는 순간적으로 최선인 방향이 목적지를 향하지 않습니다. 심화 3에서 이 어긋남을 정량화합니다.
바로 확인 3.
확인 3-1. 최급증가 방향을 쓰세요.
답. ∇ f / ∥ ∇ f ∥ ∇ f / ∥ ∇ f ∥
확인 3-2. 그때의 변화율을 쓰세요.
답. ∥ ∇ f ∥ ∥ ∇ f ∥
확인 3-3. 증명에 쓴 부등식의 이름을 쓰세요.
답. 코시-슈바르츠 부등식입니다.
문제. 같은 함수와 점을 봅니다.( − 0.8 , 0.6 ) ( − 0 . 8 , 0 . 6 ) D u f D u f 6 0 ∘ 6 0 ∘ ( cos 6 0 ∘ , sin 6 0 ∘ ) ( cos 6 0 ∘ , sin 6 0 ∘ ) D u f D u f u u θ θ
생각의 실마리. 내적은 각도로 쓸 수 있습니다. 63강의 a ⋅ b = ∥ a ∥ ∥ b ∥ cos θ a ⋅ b = ∥ a ∥ ∥ b ∥ cos θ
풀이. (1) 검산에서 − 8.882 × 1 0 − 16 − 8 . 8 8 2 × 1 0 − 1 6 0 0
(2) 9.928203 9 . 9 2 8 2 0 3
(3) ∥ u ∥ = 1 ∥ u ∥ = 1
D u f = ∥ ∇ f ∥ cos θ D u f = ∥ ∇ f ∥ cos θ
이 문제에서 배우는 것: 코사인 법칙이 전부를 설명합니다.
∥ ∇ f ∥ = 10 ∥ ∇ f ∥ = 1 0
θ θ cos θ cos θ D u f D u f 뜻
0^
1 1 10 1 0 최급증가
60^
0.5 0 . 5 5 5 절반만 오릅니다
90^
0 0 0 0 등고선을 따라갑니다
180^
− 1 − 1 − 10 − 1 0 최급감소
(2)의 6 0 ∘ 6 0 ∘ x x ( 0.6 , 0.8 ) ( 0 . 6 , 0 . 8 ) 6 0 ∘ 6 0 ∘ arctan ( 8 / 6 ) ≈ 53.1 3 ∘ arctan ( 8 / 6 ) ≈ 5 3 . 1 3 ∘ 6.8 7 ∘ 6 . 8 7 ∘
10 cos 6.8 7 ∘ ≈ 9.928 1 0 cos 6 . 8 7 ∘ ≈ 9 . 9 2 8
로 검산값과 맞습니다.
cos θ cos θ θ θ cos θ ≈ 1 − θ 2 / 2 cos θ ≈ 1 − θ 2 / 2 이차로만 커집니다.
벗어난 각
남는 비율
10^
98.5 % 9 8 . 5 %
30^
86.6 % 8 6 . 6 %
45^
70.7 % 7 0 . 7 %
80^
17.4 % 1 7 . 4 %
3 0 ∘ 3 0 ∘ 87 % 8 7 % 예각이기만 하면 값이 줄어듭니다.
∇ f ⋅ d < 0 ⟹ d 는 하강 방향입니다 ∇ f ⋅ d < 0 ⟹ d 는 하강 방향입니다
이것이 109강에서 정의할 하강 방향의 조건이며, − ∇ f − ∇ f
바로 확인 4.
확인 4-1. D u f D u f
답. ∥ ∇ f ∥ cos θ ∥ ∇ f ∥ cos θ
확인 4-2. 등고선 방향의 방향도함수는 얼마입니까?
답. 0 0
확인 4-3. 하강 방향의 조건을 쓰세요.
답. ∇ f ⋅ d < 0 ∇ f ⋅ d < 0
문제. 93강과 94강에서 본 함수를 다시 봅니다.
G ( x , y ) = { x 2 y x 4 + y 2 ( x , y ) ≠ ( 0 , 0 ) 0 ( x , y ) = ( 0 , 0 ) G ( x , y ) = ⎩ ⎪ ⎨ ⎪ ⎧ x 4 + y 2 x 2 y 0 ( x , y ) = ( 0 , 0 ) ( x , y ) = ( 0 , 0 )
(1) ∇ G ( 0 , 0 ) ∇ G ( 0 , 0 ) 3 0 ∘ 3 0 ∘ 4 5 ∘ 4 5 ∘ 6 0 ∘ 6 0 ∘ D u G = ∇ G ⋅ u D u G = ∇ G ⋅ u
생각의 실마리. 94강 심화 2에서 이 함수는 모든 방향도함수가 존재 한다고 했습니다. 그러니 공식의 좌변은 모든 방향에서 정의됩니다. 우변은 어떨지 확인합니다.
풀이. (1) 두 축 위에서 G ≡ 0 G ≡ 0 G x ( 0 , 0 ) = G y ( 0 , 0 ) = 0 G x ( 0 , 0 ) = G y ( 0 , 0 ) = 0
∇ G ( 0 , 0 ) = ( 0 , 0 ) ∇ G ( 0 , 0 ) = ( 0 , 0 )
(2) 94강 심화 2에서 u = ( cos θ , sin θ ) u = ( cos θ , sin θ ) sin θ ≠ 0 sin θ = 0 D u G = 2 θ / sin θ D u G = cos 2 θ / sin θ
각
정의로 잰 D u G D u G
\nabla G\cdot\mathbf
0^
+ 0.000000 + 0 . 0 0 0 0 0 0 0 0
30^
+ 1.500000 + 1 . 5 0 0 0 0 0 0 0
45^
+ 0.707107 + 0 . 7 0 7 1 0 7 0 0
60^
+ 0.288675 + 0 . 2 8 8 6 7 5 0 0
(3) 성립하지 않습니다. 좌변은 방향마다 다른 값을 갖는데 우변은 항상 0 0
이 문제에서 배우는 것: 공식의 전제는 전미분가능성입니다.
문제 1의 증명을 다시 보면 전미분가능성을 정확히 한 곳에서 썼습니다. o ( ∣ t ∣ ) / t → 0 o ( ∣ t ∣ ) / t → 0
무엇이 잘못됐는지 표로 봅니다.
성질
G G
모든 방향도함수가 존재합니까
존재합니다
D u G D u G u u 선형이 아닙니다
전미분가능합니까
아닙니다
원점에서 연속입니까
아닙니다
둘째 줄이 진단입니다. ∇ f ⋅ u ∇ f ⋅ u u u 2 θ / sin θ cos 2 θ / sin θ u 1 = ( 1 , 0 ) u 1 = ( 1 , 0 ) u 2 = ( 0 , 1 ) u 2 = ( 0 , 1 ) 0 0 4 5 ∘ 4 5 ∘ 0.707 0 . 7 0 7
D u 1 + u 2 G ≠ D u 1 G + D u 2 G D u 1 + u 2 G = D u 1 G + D u 2 G
전미분가능성이 요구하는 것이 바로 이 선형성 입니다. 95강 심화 5에서 미분이 선형사상이라 했는데, 이 함수의 "미분"은 선형사상이 아니라서 미분이라 부를 자격이 없습니다.
정리하면 계층이 이렇습니다.
조건
방향도함수 존재
D_{\mathbf{u}}f=\nabla f\cdot\mathbf
연속
편미분만 존재
아닐 수 있습니다
아닙니다
아닙니다
방향도함수 전부 존재
그렇습니다
아닙니다
아닙니다
전미분가능
그렇습니다
그렇습니다
그렇습니다
가운데 줄이 이 함수의 자리 입니다. 도구는 다 있는데 그것들이 하나의 선형사상으로 묶이지 않습니다.
정보가 있는 것과 정보가 정리되는 것은 다릅니다 정보가 있는 것과 정보가 정리되는 것은 다릅니다
실무에서는 대부분의 함수가 C 1 C 1 ReLU처럼 꺾인 활성화 함수 를 쓰면 꺾이는 점에서 이런 현상이 생기며, 그 자리를 다루는 것이 열구배와 240강의 논의입니다.
바로 확인 5.
확인 5-1. ∇ G ( 0 , 0 ) ∇ G ( 0 , 0 )
답. ( 0 , 0 ) ( 0 , 0 )
확인 5-2. 공식이 깨진 이유를 쓰세요.
답. 전미분가능하지 않기 때문입니다.
확인 5-3. D u f D u f u u
답. 선형성입니다.
개념
정의
D u f D u f t → 0 ( f ( a + t u ) − f ( a ) ) / t lim t → 0 ( f ( a + t u ) − f ( a ) ) / t
계산 공식
∇ f ⋅ u ∇ f ⋅ u
각도 표현
∥ ∇ f ∥ cos θ ∥ ∇ f ∥ cos θ
편미분
D e i f D e i f
하강 방향
∇ f ⋅ d < 0 ∇ f ⋅ d < 0
방향
D u f D u f
∇ f ∇ f + ∥ ∇ f ∥ + ∥ ∇ f ∥
등고선 방향
0 0
∇ f ∇ f − ∥ ∇ f ∥ − ∥ ∇ f ∥
θ θ ∥ ∇ f ∥ cos θ ∥ ∇ f ∥ cos θ
자주 하는 실수
바로잡기
u u 값이 크기에 비례해 달라집니다
공식을 무조건 씁니다
전미분가능해야 합니다
최급증가를 최단경로로 봅니다
순간적인 방향일 뿐입니다
방향도함수 존재를 미분가능으로 봅니다
선형성이 더 필요합니다
문제 6. f ( x , y ) = x 2 y f ( x , y ) = x 2 y ( 1 , 2 ) ( 1 , 2 ) ∇ f ∇ f
답. ( 2 x y , x 2 ) = ( 4 , 1 ) ( 2 x y , x 2 ) = ( 4 , 1 )
문제 7. 문제 6에서 u = ( 3 , 4 ) / 5 u = ( 3 , 4 ) / 5
답. ( 4 , 1 ) ⋅ ( 0.6 , 0.8 ) = 2.4 + 0.8 = 3.2 ( 4 , 1 ) ⋅ ( 0 . 6 , 0 . 8 ) = 2 . 4 + 0 . 8 = 3 . 2
문제 8. 문제 6에서 최급증가 방향과 그 값을 구하세요.
답. ( 4 , 1 ) / 17 ( 4 , 1 ) / 1 7 17 ≈ 4.123 1 7 ≈ 4 . 1 2 3
문제 9. f ( x , y ) = e x sin y f ( x , y ) = e x sin y ( 0 , 0 ) ( 0 , 0 ) ∇ f ∇ f
답. f x = e x sin y = 0 f x = e x sin y = 0 f y = e x cos y = 1 f y = e x cos y = 1 ( 0 , 1 ) ( 0 , 1 )
문제 10. ∥ ∇ f ∥ = 6 ∥ ∇ f ∥ = 6 u u 6 0 ∘ 6 0 ∘ D u f D u f
답. 6 cos 6 0 ∘ = 3 6 cos 6 0 ∘ = 3
문제 11. 방향도함수가 0 0
답. 평면에서는 ∇ f ≠ 0 ∇ f = 0
문제 12. v = ( 3 , 4 ) v = ( 3 , 4 )
답. 단위화해서 ( 0.6 , 0.8 ) ( 0 . 6 , 0 . 8 )
문제 13. f ( x , y , z ) = x y z f ( x , y , z ) = x y z ( 1 , 1 , 1 ) ( 1 , 1 , 1 ) ∇ f ∇ f
답. ( y z , x z , x y ) = ( 1 , 1 , 1 ) ( y z , x z , x y ) = ( 1 , 1 , 1 )
문제 14. 문제 13에서 u = ( 1 , 1 , 1 ) / 3 u = ( 1 , 1 , 1 ) / 3
답. 3 / 3 = 3 ≈ 1.732 3 / 3 = 3 ≈ 1 . 7 3 2
문제 15. ∇ f = 0 ∇ f = 0
답. 전미분가능하다면 모두 0 0
문제 16. d = ( − 1 , − 1 ) d = ( − 1 , − 1 ) ∇ f = ( 2 , 3 ) ∇ f = ( 2 , 3 )
답. ∇ f ⋅ d = − 2 − 3 = − 5 < 0 ∇ f ⋅ d = − 2 − 3 = − 5 < 0
문제 17. d = ( 3 , − 2 ) d = ( 3 , − 2 )
답. 6 − 6 = 0 6 − 6 = 0
문제 18. 최적 방향에서 4 5 ∘ 4 5 ∘
답. cos 4 5 ∘ ≈ 0.707 cos 4 5 ∘ ≈ 0 . 7 0 7 70.7 % 7 0 . 7 %
심화 1. 최급증가 정리를 코시-슈바르츠로 증명하고 등호 조건을 확인하세요.
63강의 부등식을 씁니다.
코시-슈바르츠. ∣ a ⋅ b ∣ ≤ ∥ a ∥ ∥ b ∥ ∣ a ⋅ b ∣ ≤ ∥ a ∥ ∥ b ∥
증명. ∥ u ∥ = 1 ∥ u ∥ = 1
∣ D u f ∣ = ∣ ∇ f ⋅ u ∣ ≤ ∥ ∇ f ∥ ⋅ 1 = ∥ ∇ f ∥ ∣ D u f ∣ = ∣ ∇ f ⋅ u ∣ ≤ ∥ ∇ f ∥ ⋅ 1 = ∥ ∇ f ∥
이라 모든 방향도함수가 [ − ∥ ∇ f ∥ , ∥ ∇ f ∥ ] [ − ∥ ∇ f ∥ , ∥ ∇ f ∥ ] ∇ f ≠ 0 ∇ f = 0 u ∗ = ∇ f / ∥ ∇ f ∥ u ∗ = ∇ f / ∥ ∇ f ∥
D u ∗ f = ∇ f ⋅ ∇ f ∥ ∇ f ∥ = ∥ ∇ f ∥ 2 ∥ ∇ f ∥ = ∥ ∇ f ∥ D u ∗ f = ∇ f ⋅ ∥ ∇ f ∥ ∇ f = ∥ ∇ f ∥ ∥ ∇ f ∥ 2 = ∥ ∇ f ∥
입니다. 같은 방식으로 − u ∗ − u ∗ − ∥ ∇ f ∥ − ∥ ∇ f ∥ ■ ■
등호 조건이 유일성을 줍니다. 코시-슈바르츠의 등호는 u u ∇ f ∇ f u u ± u ∗ ± u ∗ 최급증가 방향은 정확히 하나 이고 최급감소 방향도 하나입니다.
∇ f = 0 ∇ f = 0 0 0 가장 가파른 방향이 없습니다. 이 점이 임계점이며, 어느 쪽으로 가야 할지를 일차 정보로는 알 수 없습니다. 99강의 헤세 행렬이 필요해지는 지점입니다.
63강 심화에서 코시-슈바르츠가 여러 곳에서 쓰인다고 했는데, 최적화의 방향 선택이 그중 가장 실용적인 용도 입니다.
심화 2. 방향도함수의 정의에서 단위벡터를 요구하지 않으면 무엇이 달라지는지 논하세요.
정의에서 u u v ≠ 0 v = 0
D v f = t → 0 f ( a + t v ) − f ( a ) t = ∇ f ⋅ v D v f = t → 0 lim t f ( a + t v ) − f ( a ) = ∇ f ⋅ v
전미분가능하면 이 값은 여전히 잘 정의되고 v v 선형 입니다. 그런데 크기가 문제가 됩니다.
D 2 u f = 2 D u f D 2 u f = 2 D u f
같은 방향인데 값이 두 배 입니다. t v t v v v t t
규약
값
뜻
∥ u ∥ = 1 ∥ u ∥ = 1 ∥ ∇ f ∥ cos θ ∥ ∇ f ∥ cos θ 단위 거리당 변화율
제약 없음
∥ ∇ f ∥ ∥ v ∥ cos θ ∥ ∇ f ∥ ∥ v ∥ cos θ v v
두 규약 모두 쓰입니다. 방향들을 비교하려면 첫째가 맞고, 실제 걸음을 계산하려면 둘째가 편합니다. 경사하강법의 갱신식
Δ f ≈ ∇ f ⋅ ( − η ∇ f ) = − η ∥ ∇ f ∥ 2 Δ f ≈ ∇ f ⋅ ( − η ∇ f ) = − η ∥ ∇ f ∥ 2
은 둘째 규약을 쓴 것이며, v = − η ∇ f v = − η ∇ f 감소량이 ∥ ∇ f ∥ ∥ ∇ f ∥ 하는 것이 여기서 나오고, 110강의 수렴 해석이 이 식에서 출발합니다.
혼동을 피하는 규칙은 단순합니다. "방향도함수"라 부를 때는 단위벡터를 쓰고, 걸음을 계산할 때는 단위화하지 않은 채로 내적합니다.
심화 3. 최급강하 방향이 거리 재는 방식에 의존함을 보이세요.
문제 3에서 − ∇ f − ∇ f 이 결론에는 숨은 전제가 있습니다.
증명에서 "단위벡터"를 ∥ u ∥ 2 = 1 ∥ u ∥ 2 = 1 다른 노름으로 "단위"를 정하면 답이 달라집니다.
일반화된 최급강하 방향은 다음 문제의 답입니다.
d ∗ = arg ∥ d ∥ = 1 ∇ f ⋅ d d ∗ = arg ∥ d ∥ = 1 min ∇ f ⋅ d
양정치 대칭행렬 A A ∥ d ∥ A = d ⊤ A d ∥ d ∥ A = d ⊤ A d
d ∗ ∝ − A − 1 ∇ f d ∗ ∝ − A − 1 ∇ f
가 됩니다. A = I A = I − ∇ f − ∇ f
차이가 얼마나 큰지 확인합니다. 93강 심화 5의 함수를 씁니다.
f ( x , y ) = 1 2 ( x 2 + 100 y 2 ) , H = ( 1 0 0 100 ) f ( x , y ) = 2 1 ( x 2 + 1 0 0 y 2 ) , H = ( 1 0 0 1 0 0 )
점 ( 1 , 1 ) ( 1 , 1 ) ∇ f = ( 1 , 100 ) ∇ f = ( 1 , 1 0 0 ) − ( 1 , 1 ) / 2 − ( 1 , 1 ) / 2
방식
방향
정답과의 각
ℓ 2 ℓ 2 ( − 0.01 , − 0.99995 ) ( − 0 . 0 1 , − 0 . 9 9 9 9 5 ) 44.4271^
헤세 노름 최급강하
( − 0.707107 , − 0.707107 ) ( − 0 . 7 0 7 1 0 7 , − 0 . 7 0 7 1 0 7 ) 0.0000^
ℓ 2 ℓ 2 44 4 4 y y 100 1 0 0 정확히 최소점을 가리킵니다.
− H − 1 ∇ f = − ( 1 0 0 0.01 ) ( 1 100 ) = ( − 1 − 1 ) − H − 1 ∇ f = − ( 1 0 0 0 . 0 1 ) ( 1 1 0 0 ) = ( − 1 − 1 )
이것이 112강 뉴턴법의 갱신 방향입니다. 뉴턴법은 헤세 행렬이 정하는 노름에서의 최급강하 이며, 이차함수에서는 한 걸음에 최소점에 도달합니다.
여기서 얻는 관점이 중요합니다.
"가장 가파르다"는 절대적인 말이 아니라 거리 재는 방식에 딸린 말입니다 " 가장 가파르다 " 는 절대적인 말이 아니라 거리 재는 방식에 딸린 말입니다
이 관점이 최적화 알고리즘들을 하나로 꿰맵니다.
알고리즘
쓰는 A A
강의
경사하강법
I I 109
뉴턴법
헤세 H H
112
준뉴턴법
H H 112
Adam
대각 근사
111
자연경사법
피셔 정보행렬
236
111강의 Adam이 성분마다 학습률을 다르게 주는 것 도 이 틀에서 보면 대각행렬 A A
심화 4. 3변수에서 등위면의 접평면을 방향도함수로 유도하세요.
F ( x , y , z ) = c F ( x , y , z ) = c p p u u F F
D u F ( p ) = ∇ F ( p ) ⋅ u = 0 D u F ( p ) = ∇ F ( p ) ⋅ u = 0
즉 등위면의 접평면에 놓인 모든 방향이 ∇ F ∇ F 입니다. 95강 문제 4의 3차원 판입니다.
따라서 접평면은 p p ∇ F ( p ) ∇ F ( p )
∇ F ( p ) ⋅ ( x − p ) = 0 ∇ F ( p ) ⋅ ( x − p ) = 0
구면에서 확인합니다. F = x 2 + y 2 + z 2 = 14 F = x 2 + y 2 + z 2 = 1 4 ( 1 , 2 , 3 ) ( 1 , 2 , 3 ) ∇ F = ( 2 , 4 , 6 ) ∇ F = ( 2 , 4 , 6 )
2 ( x − 1 ) + 4 ( y − 2 ) + 6 ( z − 3 ) = 0 ⟺ x + 2 y + 3 z = 14 2 ( x − 1 ) + 4 ( y − 2 ) + 6 ( z − 3 ) = 0 ⟺ x + 2 y + 3 z = 1 4
법선이 ( 1 , 2 , 3 ) ( 1 , 2 , 3 ) 구면의 접평면이 반지름에 수직 이라는 초등기하의 사실이 그대로 나옵니다.
이 결과가 뒤에서 쓰이는 자리를 적어 둡니다.
쓰임
내용
강의
곡면의 법선
조명 계산의 기본입니다
398, 402
부호거리함수
∥ ∇ F ∥ = 1 ∥ ∇ F ∥ = 1 397
제약의 접공간
라그랑주 조건의 무대입니다
113
음함수 정리
∇ F ≠ 0 ∇ F = 0 93 심화 1
둘째 줄이 특히 실용적입니다. 397강의 부호거리함수는 ∥ ∇ F ∥ = 1 ∥ ∇ F ∥ = 1 F F ∇ F ∇ F
심화 5. 등고선 간격과 방향도함수의 관계를 정량화하세요.
93강 문제 3에서 등고선 간격이 기울기에 반비례한다고 했고, 95강에서 그 기울기가 ∥ ∇ f ∥ ∥ ∇ f ∥ 이제 정확한 식을 쓸 수 있습니다.
높이 c c u u c + Δ c c + Δ c Δ s Δ s
Δ c ≈ D u f ⋅ Δ s = ∥ ∇ f ∥ cos θ ⋅ Δ s Δ c ≈ D u f ⋅ Δ s = ∥ ∇ f ∥ cos θ ⋅ Δ s
이므로
Δ s ≈ Δ c ∥ ∇ f ∥ cos θ Δ s ≈ ∥ ∇ f ∥ cos θ Δ c
세 가지 결론이 나옵니다.
첫째, θ = 0 θ = 0 Δ s Δ s 최단 경로 입니다.
둘째, θ → 9 0 ∘ θ → 9 0 ∘ Δ s → ∞ Δ s → ∞
셋째, 지도에서 재는 등고선 간격은 θ = 0 θ = 0 Δ c / ∥ ∇ f ∥ Δ c / ∥ ∇ f ∥
f = x 2 + y 2 f = x 2 + y 2 x x x = c x = c ∥ ∇ f ∥ = 2 c ∥ ∇ f ∥ = 2 c
Δ s ≈ Δ c 2 c Δ s ≈ 2 c Δ c
93강의 표에서 c = 1 → 2 c = 1 → 2 Δ c = 1 Δ c = 1 c ≈ 1.2 c ≈ 1 . 2 Δ s ≈ 1 / 2.4 ≈ 0.417 Δ s ≈ 1 / 2 . 4 ≈ 0 . 4 1 7 0.4142 0 . 4 1 4 2 근사식이 잘 맞습니다.
이것이 지형도를 읽는 수학적 근거 입니다. 등고선 지도만 보고도 각 점의 기울기 크기를 알 수 있으며, 방향까지 알려면 등고선에 수직인 쪽을 보면 됩니다.
심화 6. 이 강의가 97강과 어떻게 이어지는지 정리하세요.
이 강의에서 u u
γ ( t ) = a + t u γ ( t ) = a + t u
직선이 아니라 곡선을 따라 움직이면 어떻게 될까요. 이것이 97강의 질문입니다.
γ ( t ) γ ( t ) f ( γ ( t ) ) f ( γ ( t ) ) t t
d d t f ( γ ( t ) ) = ∇ f ( γ ( t ) ) ⋅ γ ′ ( t ) d t d f ( γ ( t ) ) = ∇ f ( γ ( t ) ) ⋅ γ ′ ( t )
입니다. 직선일 때 γ ′ ( t ) = u γ ′ ( t ) = u 로 들어갑니다.
경로
γ ′ ( t ) γ ′ ( t ) 결과
직선 \mathbf{a}+t\mathbf
\mathbf
D u f D u f
임의의 곡선
γ ′ ( t ) γ ′ ( t ) 연쇄법칙 (97강)
97강은 이 강의를 곡선으로 일반화 하는 셈이며, 더 나아가 여러 변수가 서로 얽혀 의존하는 경우를 다룹니다.
z = f ( x , y ) , x = x ( s , t ) , y = y ( s , t ) ⟹ ∂ z ∂ s = ∂ z ∂ x ∂ x ∂ s + ∂ z ∂ y ∂ y ∂ s z = f ( x , y ) , x = x ( s , t ) , y = y ( s , t ) ⟹ ∂ s ∂ z = ∂ x ∂ z ∂ s ∂ x + ∂ y ∂ z ∂ s ∂ y
이 식이 신경망 역전파의 전부입니다. 층을 하나 지날 때마다 이 규칙을 적용하며, 233강에서 그 반복을 알고리즘으로 정리합니다.
98강에서는 출력이 여럿인 경우로 넓혀 연쇄법칙이 행렬 곱 임을 보입니다. 66강에서 "행렬 곱은 변환의 합성"이라 한 것이 그때 미분의 언어로 되돌아옵니다.
01단원은 미분을 선형대수로 번역하는 단원입니다 01 단원은 미분을 선형대수로 번역하는 단원입니다
import numpy as np
# --- 문제 1: 임의 방향의 변화율 -----------------------------------------
f = lambda x, y: x**2 + y**2
a = np.array([3.0, 4.0]); g = np.array([6.0, 8.0])
print(" 방향 u 차분비 grad.u")
for th in [0.0, np.pi/4, np.pi/2, np.arctan2(3, -4)]:
u = np.array([np.cos(th), np.sin(th)])
t = 1e-7
diff = (f(*(a + t*u)) - f(*a))/t
print(" (%+.4f,%+.4f) %+12.6f %+12.6f" % (u[0], u[1], diff, g @ u))
# 방향 u 차분비 grad.u
# (+1.0000,+0.0000) +6.000000 +6.000000
# (+0.7071,+0.7071) +9.899495 +9.899495
# (+0.0000,+1.0000) +8.000000 +8.000000
# (-0.8000,+0.6000) +0.000000 +0.000000
# --- 문제 2: 편미분은 방향도함수의 특별한 경우 --------------------------
for u, name in [(np.array([1.0,0.0]), "e1"), (np.array([0.0,1.0]), "e2")]:
print(" D_%s f = %+.1f" % (name, g @ u))
# D_e1 f = +6.0
# D_e2 f = +8.0
# --- 문제 3: 최대와 최소 -------------------------------------------------
n = np.linalg.norm(g)
print(" ||grad|| = %.1f" % n)
best = g/n
print(" 최급증가 방향 %s 에서 %+.1f" % (best, g @ best))
print(" 최급감소 방향 %s 에서 %+.1f" % (-best, g @ (-best)))
ths = np.linspace(0, 2*np.pi, 100000)
vals = g[0]*np.cos(ths) + g[1]*np.sin(ths)
print(" 각도를 훑어본 최댓값 %.6f, 최솟값 %.6f" % (vals.max(), vals.min()))
# ||grad|| = 10.0
# 최급증가 방향 [0.6 0.8] 에서 +10.0
# 최급감소 방향 [-0.6 -0.8] 에서 -10.0
# 각도를 훑어본 최댓값 10.000000, 최솟값 -10.000000
# 10만 개 방향을 다 재 봐도 코시-슈바르츠의 상한을 넘지 못합니다.
# --- 문제 4: 등고선 방향은 0 --------------------------------------------
t_vec = np.array([-4.0, 3.0])/5
print(" 등고선 접선 %s 에서 D_u f = %+.3e (참값 0)" % (t_vec, g @ t_vec))
print(" 60도 방향에서 D_u f = %+.6f" % (g @ np.array([np.cos(np.pi/3), np.sin(np.pi/3)])))
# 등고선 접선 [-0.8 0.6] 에서 D_u f = -8.882e-16 (참값 0)
# 60도 방향에서 D_u f = +9.928203
# --- 문제 5: 전미분가능이 아니면 공식이 깨진다 --------------------------
def G(x, y):
if x == 0.0 and y == 0.0: return 0.0
return x*x*y/(x**4 + y*y)
print(" G 의 원점: grad = (0, 0) 이므로 grad.u = 0 이어야 하는데")
print(" 각도 정의로 잰 D_u G grad.u")
for th in [0.0, np.pi/6, np.pi/4, np.pi/3]:
u = np.array([np.cos(th), np.sin(th)]); t = 1e-7
d = (G(*(t*u)) - 0.0)/t
theory = (np.cos(th)**2/np.sin(th)) if abs(np.sin(th)) > 1e-12 else 0.0
print(" %5.1f도 %+16.6f %+8.1f (이론 %+.6f)" % (np.degrees(th), d, 0.0, theory))
# G 의 원점: grad = (0, 0) 이므로 grad.u = 0 이어야 하는데
# 각도 정의로 잰 D_u G grad.u
# 0.0도 +0.000000 +0.0 (이론 +0.000000)
# 30.0도 +1.500000 +0.0 (이론 +1.500000)
# 45.0도 +0.707107 +0.0 (이론 +0.707107)
# 60.0도 +0.288675 +0.0 (이론 +0.288675)
# 방향도함수는 다 있는데 grad 와의 내적으로 표현되지 않습니다. 선형이 아니기 때문입니다.
# --- 심화 3: 최급강하 방향은 노름에 의존한다 ----------------------------
H = np.array([[1.0, 0.0], [0.0, 100.0]])
p = np.array([1.0, 1.0])
gr = H @ p
print(" f = (x^2 + 100y^2)/2 의 (1,1) 에서 grad = %s" % gr)
d2 = -gr/np.linalg.norm(gr)
dH = -np.linalg.solve(H, gr); dH = dH/np.linalg.norm(dH)
dmin = -p/np.linalg.norm(p)
print(" L2 최급강하 방향 %s" % np.round(d2, 6))
print(" 헤세 노름 최급강하 방향 %s" % np.round(dH, 6))
print(" 최소점을 곧장 향하는 방향 %s" % np.round(dmin, 6))
print(" L2 방향과 정답의 각도 %.4f 도" % np.degrees(np.arccos(np.clip(d2 @ dmin, -1, 1))))
print(" 헤세 방향과 정답의 각도 %.4f 도" % np.degrees(np.arccos(np.clip(dH @ dmin, -1, 1))))
# f = (x^2 + 100y^2)/2 의 (1,1) 에서 grad = [ 1. 100.]
# L2 최급강하 방향 [-0.01 -0.99995]
# 헤세 노름 최급강하 방향 [-0.707107 -0.707107]
# 최소점을 곧장 향하는 방향 [-0.707107 -0.707107]
# L2 방향과 정답의 각도 44.4271 도
# 헤세 방향과 정답의 각도 0.0000 도
# 가장 가파른 방향이 목적지를 향하지 않습니다. 노름을 바꾸면 정확히 향합니다.
마지막 결과가 이 강의의 반전입니다. − ∇ f − ∇ f 44 4 4
가장 가파른 것과 가장 빠른 것은 다릅니다 가장 가파른 것과 가장 빠른 것은 다릅니다
이 어긋남이 109강부터 112강까지의 주제입니다.
방향도함수의 정의를 쓰세요.
u u D u f D u f 편미분을 방향도함수로 표현하세요.
최급증가 방향과 그 값을 쓰세요.
증명에 쓰는 부등식과 등호 조건을 쓰세요.
D u f D u f 하강 방향의 조건을 쓰세요.
모든 방향도함수가 존재해도 공식이 깨지는 이유를 쓰세요.
최급강하 방향이 무엇에 의존합니까?
정답.
t → 0 ( f ( a + t u ) − f ( a ) ) / t lim t → 0 ( f ( a + t u ) − f ( a ) ) / t 크기를 고정해야 방향들끼리 비교할 수 있기 때문입니다.
∇ f ⋅ u ∇ f ⋅ u f x i = D e i f f x i = D e i f ∇ f / ∥ ∇ f ∥ ∇ f / ∥ ∇ f ∥ ∥ ∇ f ∥ ∥ ∇ f ∥ 코시-슈바르츠이며 등호는 두 벡터가 나란할 때입니다.
∥ ∇ f ∥ cos θ ∥ ∇ f ∥ cos θ ∇ f ⋅ d < 0 ∇ f ⋅ d < 0 u u 거리를 재는 노름에 의존하며 ℓ 2 ℓ 2 − ∇ f − ∇ f
기호
읽는 법
뜻
D u f D u f 방향도함수
u u
\mathbf
단위벡터
∥ u ∥ = 1 ∥ u ∥ = 1
\mathbf{e}_
표준기저
편미분의 방향입니다
θ θ 사잇각
∇ f ∇ f u u
최급증가
steepest ascent
∇ f ∇ f
최급강하
steepest descent
− ∇ f − ∇ f
하강 방향
descent direction
∇ f ⋅ d < 0 ∇ f ⋅ d < 0
\lVert\cdot\rVert_
A A d ⊤ A d d ⊤ A d
− A − 1 ∇ f − A − 1 ∇ f 일반 최급강하
A A
다음 97강에서는 다변수 연쇄법칙 을 다룹니다. 이 강의에서 직선을 따라 움직였다면, 이제 곡선을 따라 움직이고 변수들이 서로 얽혀 의존하는 경우를 다룹니다. d d t f ( γ ( t ) ) = ∇ f ⋅ γ ′ ( t ) d t d f ( γ ( t ) ) = ∇ f ⋅ γ ′ ( t ) 이 규칙의 반복 적용이 신경망의 역전파 입니다.