이 단원은 99강부터 102강까지를 맡습니다. 한 차수를 올립니다.
01단원에서 일차 근사를 세웠습니다.
f(a+h)≈f(a)+∇f(a)⋅h
그런데 이 도구가 정작 필요한 자리에서 침묵합니다. 최소나 최대를 찾으려면 ∇f=0인 점을 봐야 하는데, 바로 거기서 일차항이 사라집니다.
93강 문제 5에서 이미 만난 문제입니다. x2+y2과 x2−y2이 원점에서 둘 다 기울기가 0인데 하나는 최소이고 하나는 안장이었습니다.
차이는 이차항에 있습니다
S4의 06단원이 여기서 통째로 쓰입니다.
2계 편미분을 모으면 행렬이 되고, 94강의 클레로 정리가 그 행렬을 대칭으로 만듭니다. 대칭이면 86강 스펙트럼 정리가 적용되고, 87강의 양정치성 판정이 그대로 극값 판정이 됩니다.
클레로 ⟹ 대칭 ⟹ 스펙트럼 정리 ⟹ 극값 판정
87강에서 이차형식의 부호를 왜 판정했는지가 이 단원에서 답을 얻습니다. 그때는 계산이었는데 여기서는 함수의 극값 판정입니다.
| 강의 |
하는 일 |
쓰는 S4 도구 |
| 99 |
헤세를 세우고 고유값의 뜻을 밝힙니다 |
86 스펙트럼, 레일리 몫 |
| 100 |
이차 근사를 정식화하고 오차를 잽니다 |
90 노름 |
| 101 |
극값을 판정하고 증명합니다 |
87 양정치성 |
| 102 |
기하적 뜻을 완성합니다 |
84 대각합과 행렬식 |
101강이 목표이고 나머지가 도구입니다.
이 단원의 강의는 개념을 먼저 나열하지 않습니다. 문제를 먼저 던지고, 그 문제를 푸는 과정에서 개념과 공식을 끌어냅니다. 각 문제는 문제, 생각의 실마리, 풀이, 이 문제에서 배우는 것, 바로 확인의 다섯 단계로 진행합니다.
임계점에서 함수는 이차형식으로 보입니다
∇f(a)=0이면 테일러 전개에서 일차항이 사라져 함숫값의 변화가 통째로 이차형식이 됩니다.
f(a+h)−f(a)=21h⊤H(c)h
그래서 이차형식에 관해 알던 것이 전부 극값에 관한 지식이 됩니다. 부호 판정이 분류가 되고, 고유값이 곡률이 되며, 고유벡터가 주방향이 됩니다.
이 단원의 미묘하지만 중요한 구별입니다. 99강 심화 1에서 다룹니다.
좌표를 바꾸면 헤세가 P⊤HP로 변합니다. 이것은 닮음이 아니라 합동이라 고유값이 보존되지 않습니다. 실제로 검산에서 고유값이 −12.87과 16.87에서 −213과 25.4까지 요동칩니다.
그런데 부호의 개수는 언제나 그대로입니다.
| 진술 |
좌표에 의존하는가 |
| "양정치이다" |
의존하지 않습니다 |
| "안장이다" |
의존하지 않습니다 |
| "λmin=3이다" |
의존합니다 |
| "조건수가 100이다" |
의존합니다 |
실베스터 관성법칙이 앞의 두 줄을 보장하며, 그래서 판정이 정당합니다. 극소인지 안장인지는 함수의 성질이지 좌표계의 성질이 아니어야 하기 때문입니다.
뒤의 두 줄이 최적화에서 뜻하는 바도 큽니다. 조건수가 좌표에 의존하므로 좌표를 잘 고르면 줄일 수 있고, 그것이 전처리와 뉴턴법의 발상입니다.
이 단원은 판정법의 한계도 정확히 밝힙니다.
헤세가 준정치이면, 즉 고유값에 0이 있으면 아무 결론도 나오지 않습니다. 세 함수가 원점에서 헤세가 모두 diag(2,0)인데 성격이 다릅니다.
| 함수 |
원점 |
| x^{2}+y^ |
엄밀한 극소 |
| x^{2}-y^ |
안장 |
| x^ |
극소이나 엄밀하지 않음 |
그리고 고차원에서는 이런 자리가 오히려 흔합니다. 101강 문제 5에서 무작위 대칭행렬 1000개 중 정부호인 비율을 세면 n=5에서 이미 0입니다.
고차원에서 임계점은 대개 안장입니다
이 관찰이 실무의 통념을 뒤집습니다. 학습이 나쁜 극소에 갇히는 것이 아니라, 극소 자체가 드물고 대부분 안장을 지나갑니다.
- 이 단원은 99,100,101,102강 순서로 읽어야 합니다.
- 42강의 페르마 정리가 101강 필요조건의 원형입니다.
- 44강의 이계도함수 판정이 101강 심화 1에서 쓰입니다.
- 54강의 테일러 정리를 100강이 다변수로 옮깁니다.
- 55강의 곡률을 102강이 곡면으로 확장합니다.
- 84강의 대각합과 행렬식이 99강 심화 3과 102강에서 곡률이 됩니다.
- 86강의 스펙트럼 정리와 레일리 몫이 99강의 뼈대입니다.
- 87강의 이차형식과 양정치성이 101강의 판정입니다.
- 90강의 노름 부등식이 100강 나머지항의 상한을 줍니다.
- 94강의 클레로 정리가 헤세의 대칭성을 보장합니다.
- 98강의 야코비가 99강 문제 5에서 H=J∇f로 되돌아옵니다.
- 헤세 행렬
- 다변수 테일러 근사
- 임계점의 분류
- 곡선의 곡률과 곡면의 휘어짐
-
- 헤세 행렬
2계 편미분을 행렬로 모으고 클레로 정리에서 대칭성을 얻습니다. 고유값이 방향별 휘어짐의 극단임을 레일리 몫으로 보이고, 헤세가 기울기장의 야코비임을 확인합니다. 좌표변환에서 부호수만 보존됨을 실베스터 관성법칙으로 정리합니다.
-
- 다변수 테일러 근사
직선 위로 제한해 한 변수 테일러를 적용하고 되돌리는 방법으로 이차 근사를 세웁니다. 오차가 세제곱으로 줄어듦을 확인하고 나머지항의 상한을 헤세의 노름으로 잽니다. 임계점에서 이차형식만 남음을 보입니다.
-
- 임계점의 분류
임계점을 찾고 고유값 부호로 분류하며 그 판정을 증명합니다. 이변수에서 detH와 fxx만으로 판정하는 실용적 방법을 세우고, 판정이 통하지 않는 경우와 고차원에서 안장이 흔한 이유를 다룹니다.
-
- 곡선의 곡률과 곡면의 휘어짐
곡선의 곡률을 매개곡선으로 일반화하고 곡면의 법곡률이 헤세의 이차형식임을 보입니다. 주곡률과 주방향, 평균곡률과 가우스곡률에 이름을 붙이고, 오일러 공식으로 임의 방향의 곡률을 구합니다.
- 헤세가 대칭인 근거를 말할 수 있는가?
- 고유값 자체가 좌표 무관이라 착각하지 않았는가?
- 테일러 나머지의 H를 a에서 재지 않았는가?
- 이차 근사를 신뢰 범위 밖까지 쓰지 않았는가?
- 임계점이면 극값이라 여기지 않았는가?
- D<0인데 fxx를 확인하고 있지 않은가?
- D=0에서 결론을 내지 않았는가?
- 모든 직선에서 극소라고 극소라 결론짓지 않았는가?
- 국소 판정을 전역 최소로 오해하지 않았는가?
- 임계점이 아닌 곳에서 u⊤Hu를 곡률이라 하지 않았는가?
- 헤세 행렬을 세우고 고유값의 뜻을 해석할 수 있습니다.
- 이차 테일러 근사를 세우고 오차를 정량적으로 잴 수 있습니다.
- 임계점을 찾아 극소와 극대와 안장으로 분류할 수 있습니다.
- 판정이 통하지 않는 경우를 알아보고 다르게 접근할 수 있습니다.
- 곡률의 언어로 임계점을 기하적으로 설명할 수 있습니다.
- 헤세의 고유값이 학습률과 수렴 속도를 어떻게 정하는지 압니다.
04단원 전체가 이 단원의 결과 위에 서 있습니다.
| 이 단원의 것 |
쓰이는 곳 |
| λmax가 정하는 학습률 상한 |
110강 |
| λmin이 주는 정량적 부등식 |
108강 강볼록성 |
| 조건수와 수렴 속도 |
110강 |
| 헤세가 정하는 이차 모형 |
112강 뉴턴법, 신뢰영역 |
| 헤세의 준정치성 |
107강 볼록성 판정 |
| 임계점 분류 |
118강 평형점의 안정성 |
| 헤세와 정밀도행렬 |
140강 다변량 정규분포 |
여섯째 줄이 흥미롭습니다. 119강에서 경사흐름 x˙=−∇f를 다루면 그 야코비가 −H이고, 극소가 안정한 평형점이 되고 안장이 불안정한 평형점이 됩니다. 이 단원의 분류가 미분방정식의 안정성 분류와 같은 것입니다.
103강부터 시작하는 03단원 다변수 적분은 방향을 바꿉니다. 미분을 두 단원에 걸쳐 세웠으니 이제 적분입니다.
| 강의 |
하는 일 |
쓰는 앞 도구 |
| 103 |
이중적분을 세웁니다 |
48~53강 |
| 104 |
극좌표로 적분합니다 |
98강 |
| 105 |
변수변환을 일반화합니다 |
79강, 98강 |
| 106 |
삼중적분과 부피를 다룹니다 |
103~105강 |
105강이 98강과 79강을 잇습니다. 야코비 행렬식이 국소 부피 배율이라는 사실이 적분의 치환 인자가 되며, 98강 문제 3에서 정사각형의 상 넓이가 detJ배였던 관찰이 정리가 됩니다.
그리고 04단원에서 이 단원의 결과가 알고리즘이 됩니다. 무엇이 최소인지 알았으니 어떻게 찾는지에 답할 차례입니다.
120강 뒤에 관문 3이 있으며 62강부터 120강까지를 섞어 묻습니다.