이 단원은 107강부터 112강까지를 맡습니다. S5의 목표점입니다.
02단원에서 무엇이 최소인가에 답했습니다. 헤세의 고유값 부호로 극소와 극대와 안장을 갈랐습니다.
이제 어떻게 찾는가에 답할 차례입니다.
κ=μL
93강 심화 5에서 처음 나타났습니다. 등고선 타원의 축 비가 κ라 했고, 96강 심화 3에서 ℓ2 최급강하가 목적지에서 44.43도 벗어난다고 했으며, 99강 심화 5에서 학습률의 상한을 정한다고 했습니다.
이 단원이 그 조건수와 정면으로 싸웁니다.
| 강의 |
걸음 수 |
한 걸음 비용 |
| 109 경사하강법 |
O(κ) |
O(n) |
| 111 모멘텀 |
O(κ) |
O(n) |
| 112 뉴턴법 |
O(1) |
O(n3) |
O(κ) ⟶ O(κ) ⟶ O(1)
대가는 걸음마다의 비용이며, n의 크기가 저울질의 답을 정합니다.
이 단원 전체가 한 문장을 펼친 것입니다.
"가장 가파른"은 거리 재는 방식에 딸린 말입니다
그때 ℓ2 최급강하가 정답에서 44.4271도 벗어나는데 헤세 노름 최급강하는 0.0000도라 했습니다. 어떤 노름을 쓰느냐가 방법을 정합니다.
| 방법 |
쓰는 노름 |
불변성 |
| 경사하강법 |
I |
없음 |
| Adam |
대각행렬 |
대각 변환 |
| 뉴턴법 |
헤세 H |
아핀 변환 |
| 자연경사법 |
피셔 정보행렬 |
재매개화 |
알고리즘을 따로 외울 필요가 없습니다. "어떤 노름인가"만 물으면 됩니다.
이 단원의 강의는 개념을 먼저 나열하지 않습니다. 문제를 먼저 던지고, 그 문제를 푸는 과정에서 개념과 공식을 끌어냅니다. 각 문제는 문제, 생각의 실마리, 풀이, 이 문제에서 배우는 것, 바로 확인의 다섯 단계로 진행합니다.
101강 심화 2에서 남긴 문제가 있었습니다.
국소 극소 ⇒ 전역 최소
107강이 이 간극을 메웁니다. 볼록하면 모든 국소 최소가 전역 최소이고, 임계점 하나면 답입니다.
증명이 짧습니다. 더 낮은 점이 아무리 멀리 있어도 그쪽으로 조금만 가면 이미 값이 낮아지므로 국소 최소일 수 없습니다.
볼록함수에는 숨을 곳이 없습니다
검산이 이를 보입니다. 볼록함수는 세 시작점 모두 원점에 도착하는데, 비볼록 x4−4x2+0.3x는 두 극소로 갈라지고 값이 0.85만큼 다릅니다.
108강이 볼록성을 정량화합니다.
μI⪯H⪯LI
**아래에서 받치는 μ와 위에서 누르는 L**이며, 함수가 두 포물면 사이에 갇힙니다.
f(a)+∇f⋅h+2μ∥h∥2 ≤ f(a+h) ≤ f(a)+∇f⋅h+2L∥h∥2
| 부등식 |
보장하는 것 |
| 위 포물면 |
한 걸음이 안전합니다 |
| 아래 포물면 |
그 걸음이 진전입니다 |
두 줄을 합치면 110강의 수렴 정리가 네 줄에 나옵니다.
검산이 두 상수의 정확성을 보입니다. μ=1은 20만 번 중 0번 위반하고 μ=2는 13082번, L=100은 0번이고 L=50은 100547번 위반합니다.
109강에서 학습률의 네 가지 영역을 봅니다. ∣1−ηL∣ 하나가 모든 것을 정합니다.
| η |
∣1−ηL∣ |
거동 |
| 0.0100 |
0.0000 |
수렴 |
| 0.0198 |
0.9800 |
느림 |
| 0.0200 |
1 |
진동, 줄지 않음 |
| 0.0201 |
1.0100 |
발산 |
셋째 줄이 미묘합니다. η=2/L은 발산이 아니라 진동이며, L 방향이 크기를 유지한 채 튕깁니다.
지그재그의 정체도 밝혀집니다. 곱수 1−ηλi가 음수인 성분이며, y가 +1.0→−0.9→+0.81로 뒤집히는 동안 x는 단조 감소합니다.
110강 심화 5에서 일차 방법의 하한이 Ω(κlogε1)이라 했고, 111강의 모멘텀이 그것을 달성합니다.
모멘텀은 개선이 아니라 최적입니다
검산에서 조건수가 열 배가 될 때
| 방법 |
걸음 증가 |
| 경사하강법 |
정확히 열 배 |
| 모멘텀 |
약 3.4배로 \sqrt |
차수의 차이는 상수의 차이와 다릅니다. 110강 문제 2의 최적 학습률은 언제나 두 배 개선이지만, 모멘텀은 κ가 클수록 크게 갚습니다. κ=106이면 약 550배입니다.
- 이 단원은 107,108,109,110,111,112강 순서로 읽어야 합니다.
- 42강의 페르마 정리와 44강의 이계 판정이 밑바탕입니다.
- 63강의 코시-슈바르츠가 107강 심화 1에 쓰입니다.
- 82강의 정규방정식이 112강 심화 3의 가우스-뉴턴법입니다.
- 86강의 스펙트럼 정리와 레일리 몫이 108강의 두 상수를 정합니다.
- 87강의 양정치성이 107강 이차 조건입니다.
- 90강의 노름과 91강의 조건수가 이 단원 전체의 언어입니다.
- 96강 심화 3의 노름 선택이 단원 전체의 뼈대입니다.
- 99강 심화 5의 학습률 상한이 108강 문제 4로 다시 나옵니다.
- 100강의 테일러 정리가 108강 심화 1의 증명입니다.
- 101강 문제 5의 고차원 안장이 110강 문제 4의 배경입니다.
- 32강의 선형 점화식이 111강 심화 1의 특성방정식입니다.
- 볼록집합과 볼록함수
- 볼록성 판정과 부등식
- 경사하강법
- 학습률과 수렴 속도
- 모멘텀과 적응적 학습률
- 뉴턴법과 이차 방법
-
- 볼록집합과 볼록함수
볼록집합과 볼록함수를 정의하고 일차 조건과 이차 조건으로 판정합니다. 국소 최소가 전역 최소임을 증명하고, 볼록성이 없을 때 시작점이 운명을 가름을 수치로 봅니다.
-
- 볼록성 판정과 부등식
강볼록 상수 μ와 매끄러움 상수 L을 정하고 두 부등식을 세웁니다. 하강 보조정리와 PL 부등식을 유도해 110강의 재료를 만듭니다.
-
- 경사하강법
알고리즘을 세우고 성분별 거동을 관찰합니다. 지그재그의 정체를 밝히고, 학습률의 네 영역을 구별하며, 걸음 수가 조건수에 비례함을 확인합니다.
-
- 학습률과 수렴 속도
선형 수렴을 증명하고 최적 학습률을 유도합니다. 강볼록을 빼면 O(1/k), 볼록마저 빼면 기울기 감소만 보장됨을 보이고, 잡음이 있을 때 감쇠 일정이 필요한 이유를 확인합니다.
-
- 모멘텀과 적응적 학습률
과거 방향을 누적해 걸음 수를 O(κ)로 줄입니다. 이것이 일차 방법의 하한과 일치함을 확인하고, Adam의 성분별 정규화를 96강의 노름 관점에서 봅니다.
-
- 뉴턴법과 이차 방법
헤세를 써서 조건수 의존성을 없앱니다. 아핀 불변성과 이차 수렴을 확인하고, 헤세가 정치가 아닐 때의 실패와 큰 문제에서의 우회로를 다룹니다.
- 볼록성의 정의역 조건을 잊지 않았는가?
- 한 점의 헤세로 볼록성을 판정하지 않았는가?
- μ와 L을 전 영역에서 잡았는가?
- η가 2/L을 넘지 않았는가?
- "선형 수렴"을 일차 감소로 읽지 않았는가?
- x 기준과 f 기준 비율을 혼동하지 않았는가?
- 비볼록에서 최소 수렴이라 여기지 않았는가?
- β를 키울 때 η를 함께 줄였는가?
- 뉴턴 걸음이 하강 방향인지 확인했는가?
- 큰 문제에서 헤세를 명시적으로 만들지 않았는가?
- 볼록성을 판정하고 국소와 전역의 관계를 설명할 수 있습니다.
- μ와 L을 구하고 두 부등식을 쓸 수 있습니다.
- 안전한 학습률의 범위를 정하고 근거를 댈 수 있습니다.
- 수렴 속도를 조건수로 예측할 수 있습니다.
- 모멘텀과 Adam의 차이를 노름의 언어로 설명할 수 있습니다.
- 뉴턴법을 쓸지 말지를 문제 크기로 판단할 수 있습니다.
- 종료 조건을 정하고 그 한계를 압니다.
S11 학습의 수학 전체가 이 단원 위에 서 있습니다.
| 이 단원의 것 |
쓰이는 곳 |
| 하강 보조정리 |
236강 SGD 수렴 조건 |
| 잡음 바닥과 감쇠 일정 |
235강 미니배치, 237강 배치 크기 |
| 모멘텀 |
111강의 형태 그대로 딥러닝 표준 |
| Adam |
실무 최적화기의 기본값 |
| 헤세-벡터 곱 |
288강 TRPO, 289강 PPO |
| 자연경사법 |
236강, 288강 |
| 볼록성 |
214강 SVM, 116강 라소 |
| 안장과 잡음 |
238강 분산 감소 |
다섯째 줄과 여섯째 줄이 강화학습으로 이어집니다. TRPO가 KL 제약 아래 정책을 갱신하는데, 그 제약이 피셔 정보행렬로 표현되고 켤레기울기법으로 풉니다. 112강 문제 5의 기법이 그대로 쓰입니다.
113강부터 시작하는 05단원 제약이 있는 최적화는 실행가능영역을 더합니다.
xminf(x)subject tog(x)=0, h(x)≤0
제약이 있으면 ∇f=0이 최적성 조건이 아닙니다. 최소점이 경계에 놓일 수 있고, 그곳에서 기울기가 0일 이유가 없습니다.
그것을 대신할 조건을 95강 문제 4의 기하가 줍니다. 제약곡선 위를 움직여도 f가 늘지 않아야 하고, 그 방향이 ∇g에 수직이므로
∇f=λ∇g
| 강의 |
하는 일 |
| 113 |
등식 제약과 라그랑주 승수 |
| 114 |
부등식 제약과 KKT 조건 |
| 115 |
쌍대 문제 입문 |
| 116 |
정규화를 제약으로 읽기 |
116강이 이 과목과 기계학습을 잇습니다. 라소와 능형회귀가 왜 그런 모양인지, ℓ1이 왜 희소해를 주는지가 제약의 기하에서 답을 얻습니다. 90강 문제 1에서 ℓ1 단위구가 마름모라 그 꼭짓점이 축 위에 있다고 한 것이 근거입니다.
120강 뒤에 관문 3이 있으며 62강부터 120강까지를 섞어 묻습니다.