이 단원은 117강부터 120강까지를 맡습니다. 시간을 더합니다.
지금까지 함수는 정적인 대상이었습니다. 지형을 재고, 내려갈 방향을 고르고, 제약에 걸린 자리를 찾았습니다. 그 모든 과정이 사실은 시간에 따라 흐르는 하나의 곡선 이라는 것이 이 단원의 주장입니다.
d x d t = − ∇ f ( x ) d t d x = − ∇ f ( x )
이 한 줄이 04단원 전체를 다시 씁니다.
답이 이미 있었습니다. 109강에서 경사하강법을 이렇게 썼습니다.
x k + 1 = x k − η ∇ f ( x k ) x k + 1 = x k − η ∇ f ( x k )
이항하고 η η
x k + 1 − x k η = − ∇ f ( x k ) η x k + 1 − x k = − ∇ f ( x k )
왼쪽은 미분의 차분 근사 입니다. 즉 경사하강법은 위 미분방정식을 시간 간격 η η 학습률은 시간 간격 입니다.
대응이 하나 정해지면 나머지가 줄줄이 따라옵니다.
이산
연속
걸음 번호 k k
시각 t t
학습률 η η
시간 간격 Δ t Δ t
η < 2 / L η < 2 / L 이산화 안정 조건
모멘텀 계수 β β
마찰 계수 γ γ
전처리 행렬
노름의 선택
알고리즘은 흐름과 이산화의 곱입니다 알고리즘은 흐름과 이산화의 곱입니다
알고리즘
흐름
이산화
경사하강법
x ˙ = − ∇ f x ˙ = − ∇ f 전진 오일러
모멘텀
\ddot{\mathbf{x}}+\gamma\dot{\mathbf{x}}+\nabla f=\mathbf
심플렉틱 오일러
뉴턴법
x ˙ = − H − 1 ∇ f x ˙ = − H − 1 ∇ f 전진 오일러
근접점 방법
x ˙ = − ∇ f x ˙ = − ∇ f 후진 오일러
두 축이 독립입니다. 흐름을 바꿔서 개선할 수도 있고 이산화를 바꿔서 개선할 수도 있는데, 어느 쪽이 이득인지는 문제가 정합니다. 120강이 그 답을 냅니다.
이 단원의 강의는 개념을 먼저 나열하지 않습니다. 문제를 먼저 던지고, 그 문제를 푸는 과정에서 개념과 공식을 끌어냅니다. 각 문제는 문제, 생각의 실마리, 풀이, 이 문제에서 배우는 것, 바로 확인의 다섯 단계로 진행합니다.
이 단원에서 가장 놀라운 결과가 119강 문제 3입니다.
04단원 내내 조건수 κ = L / μ κ = L / μ 그런데 연속시간 경사흐름의 수렴률에는 κ κ
f ( x ( t ) ) − f ∗ ≤ e − 2 μ t ( f ( x 0 ) − f ∗ ) f ( x ( t ) ) − f ∗ ≤ e − 2 μ t ( f ( x 0 ) − f ∗ )
L L κ κ
단계
κ κ
흐름의 감쇠율
없습니다
필요한 시간 T ∼ 1 / μ T ∼ 1 / μ
없습니다
허용 시간 간격 η < 2 / L η < 2 / L
여기서 L L
걸음 수 T / η ∼ κ T / η ∼ κ
여기서 나타납니다
조건수의 저주는 이산화의 대가입니다 조건수의 저주는 이산화의 대가입니다
따라서 조건수를 이기는 길이 둘로 갈립니다. 더 좋은 이산화를 쓰거나, 흐름 자체를 바꾸는 것입니다. 119강 문제 4와 문제 5가 각각을 다룹니다.
118강이 101강과 정확히 만납니다.
x ˙ = − ∇ f ( x ) ⟹ 야코비 = − H f x ˙ = − ∇ f ( x ) ⟹ 야코비 = − H f
101강에서 대수로 한 분류가 그대로 안정성 분류 입니다.
101강의 임계점
H H − H − H 118강의 평형점
극소
모두 양수
모두 음수
점근안정
극대
모두 음수
모두 양수
불안정
안장
부호 혼재
부호 혼재
불안정 안장
경사하강법이 안장에 오래 머무는 현상 이 여기서 설명됩니다. 안장은 불안정하지만 탈출 방향이 소수 라 그쪽 성분이 작으면 오래 걸립니다.
120강은 룽게쿠타법을 세웁니다. RK4는 같은 계산량으로 오일러법보다 1 0 5 1 0 5
그런데 최적화에 쓰면 오히려 세 배 느립니다.
판정 기준
1등
근거
정확도 (같은 비용)
RK4
오차 4.4 × 1 0 − 7 4 . 4 × 1 0 − 7
최적화 (같은 목표)
오일러
기울기 507 5 0 7 1472 1 4 7 2
요구가 다르기 때문입니다. 미분방정식을 푸는 것은 모든 시각의 값이 목표이고, 최적화는 t → ∞ t → ∞ 비용당 안정 시간 만이 중요합니다.
방법의 우열은 문제가 무엇을 요구하느냐로 정해집니다 방법의 우열은 문제가 무엇을 요구하느냐로 정해집니다
이 단원은 117 , 118 , 119 , 120 1 1 7 , 1 1 8 , 1 1 9 , 1 2 0
54강의 지수함수가 117강 해의 뼈대입니다.
60강의 수치 미분이 120강 심화 1의 반올림 한계와 같은 구조입니다.
86강의 대각화가 118강 e A t e A t
91강의 수치적분이 120강 룽게쿠타의 뿌리입니다.
96강 심화 3의 노름 선택이 119강 문제 5에서 흐름 선택이 됩니다.
97강의 연쇄법칙이 119강 소산 항등식의 증명입니다.
100강의 테일러 전개가 120강 차수 분석의 도구입니다.
101강의 임계점 분류가 118강 안정성 분류로 그대로 옮겨집니다.
108강의 PL 부등식이 119강 수렴률의 열쇠입니다.
109강의 η < 2 / L η < 2 / L
111강의 모멘텀이 119강 문제 4의 감쇠 진동입니다.
112강의 뉴턴법이 119강 문제 5의 전처리 흐름입니다.
1계 미분방정식
선형 미분방정식과 안정성
경사흐름과 연속시간 최적화
수치 적분법: 오일러법과 룽게쿠타법
1계 미분방정식
선형 미분방정식과 안정성e A t x 0 e A t x 0 − H − H
경사흐름과 연속시간 최적화
수치 적분법: 오일러법과 룽게쿠타법
걸음 수끼리 비교하고 있지 않은가, 시각 t = k η t = k η
초기조건 없이 해를 유일하다고 말하지 않았는가?
유한 시간에 폭발할 가능성을 확인했는가?
고유값의 실수부를 보고 있는가, 허수부를 보고 있지 않은가?
경사흐름의 야코비를 H H
흐름에도 학습률 제한이 있다고 착각하지 않았는가?
조건수를 흐름의 성질이라 보고 있지 않은가?
감쇠 계수는 클수록 좋다고 생각하지 않았는가?
국소 오차 차수를 전역 오차 차수로 쓰지 않았는가?
정확한 방법이 언제나 유리하다고 가정하지 않았는가?
변수분리형과 1계 선형 방정식을 풀 수 있습니다.
존재와 유일성 조건을 판정할 수 있습니다.
선형계의 해를 e A t x 0 e A t x 0
고유값으로 평형점의 안정성을 분류할 수 있습니다.
경사하강법을 경사흐름의 이산화로 설명할 수 있습니다.
연속시간 수렴률을 유도하고 조건수의 출처를 지목할 수 있습니다.
모멘텀의 최적 감쇠 계수를 구할 수 있습니다.
수치 방법의 차수를 실험으로 검증할 수 있습니다.
안정성 영역을 증폭 함수로 계산할 수 있습니다.
문제의 요구에 맞는 수치 방법을 근거와 함께 고를 수 있습니다.
이 단원의 것
쓰이는 곳
경사흐름
246강 학습 동역학
소산 항등식
손실 감소의 이론적 보장
안정성 판정
249강 학습 발산 진단
감쇠 진동
244강 모멘텀과 스케줄
확률미분방정식
137강 확률과정, 261강 확산모형
심플렉틱 적분
158강 해밀턴 몬테카를로
룽게쿠타
275강 뉴럴 ODE
뻣뻣한 계
250강 기울기 폭발과 소실
다섯째 줄과 일곱째 줄이 특히 멀리 갑니다. 확산모형은 잡음을 더하는 확률미분방정식을 시간 역방향으로 푸는 것이고, 뉴럴 ODE는 신경망의 층을 시간으로 바꿔 흐름 자체를 학습합니다. 이 단원의 언어가 그대로 쓰입니다.
120강 뒤에 관문 3 이 있으며 62강부터 120강까지, 곧 S4 선형대수와 S5 다변수 미적분 전체를 섞어 묻습니다.
그 다음 121강부터 S6 확률과 통계 가 시작됩니다.
119강 심화 5가 그 다리를 놓았습니다. 실제 학습은 미니배치 기울기를 쓰므로 흐름에 잡음이 섞입니다.
d x = − ∇ f ( x ) d t + η Σ 1 / 2 d W d x = − ∇ f ( x ) d t + η Σ 1 / 2 d W
이 식을 제대로 다루려면 확률변수, 분포, 기댓값, 공분산이 필요합니다. S6가 그 도구를 세웁니다. 그리고 그때 S4의 선형대수와 S5의 미적분이 모두 동원됩니다. 공분산은 대칭 양반정부호 행렬이고, 확률밀도의 적분은 이중적분이며, 최대가능도추정은 제약 없는 최적화입니다.