이 단원은 S4의 마지막 단원이며 90강부터 92강까지를 맡습니다. 지금까지의 경고를 정리합니다.
이 과목 내내 같은 말이 반복됐습니다.
| 강의 | 경고 |
|---|---|
| 45 | 파국적 상쇄 |
| 67 | 피벗팅 없으면 무너집니다 |
| 69 | 역행렬로 풀지 마세요 |
| 78 | 행렬식이 넘칩니다 |
| 80 | 고전 그람슈미트가 불안정합니다 |
| 81 | 정규방정식이 조건수를 제곱합니다 |
| 85 | 대각화가 위험할 수 있습니다 |
| 88 | 를 만들지 마세요 |
여덟 번의 경고에 공통된 것이 있습니다.
이 단원이 그 현상을 세 단계로 정리합니다.
| 강의 | 하는 일 |
|---|---|
| 90 | 크기를 재는 도구를 세웁니다 |
| 91 | 오차 증폭의 한계를 정하고 증명합니다 |
| 92 | 부동소수점의 실제 규칙을 봅니다 |
91강이 중심입니다. 67강 심화 6에서 "안정성은 알고리즘의 성질이고 조건은 문제의 성질"이라 구별했는데, 그것을 정확히 정의하고 증명합니다.
이 단원의 강의는 개념을 먼저 나열하지 않습니다. 문제를 먼저 던지고, 그 문제를 푸는 과정에서 개념과 공식을 끌어냅니다. 각 문제는 문제, 생각의 실마리, 풀이, 이 문제에서 배우는 것, 바로 확인의 다섯 단계로 진행합니다.
이 단원은 다른 단원과 성격이 크게 다릅니다. 정리를 증명하는 것이 아니라 실패를 관찰합니다.
| 관찰 | 강의 |
|---|---|
| 스펙트럼 반지름이 인데 노름이 | 90 문제 5 |
| 입력 오차가 출력 오차로 | 91 문제 1 |
| 잔차가 인데 해가 틀림 | 91 문제 5 |
| 가 정확히 이 됨 | 92 문제 2 |
| 개의 이 통째로 사라짐 | 92 문제 4 |
np.linalg.norm이 inf를 반환 |
92 문제 5 |
마지막 줄이 특히 중요합니다. 참값이 표현 범위 안인데도 라이브러리가 실패합니다. 표준 도구를 무조건 믿으면 안 된다는 예입니다.
또 하나, 잔차라는 지표를 두 번 의심합니다.
| 강의 | 내용 |
|---|---|
| 91 문제 5 | 잔차가 작아도 해는 배까지 틀릴 수 있습니다 |
| 92 문제 3 | 잔차 계산 자체가 상쇄를 겪어 정확한 답을 나쁘게 보이게 합니다 |
둘째 줄이 한 겹 더 깊습니다. 지표를 재는 계산도 같은 문제를 겪습니다.
==로 비교하지 않았는가?이 단원으로 선형대수학이 완결됩니다. 일곱 단원의 흐름을 정리합니다.
| 단원 | 한 일 |
|---|---|
| 01 (62~65) | 기하를 대수로 옮겼습니다 |
| 02 (66~70) | 방정식을 푸는 절차를 세웠습니다 |
| 03 (71~75) | 공간과 좌표의 언어를 만들었습니다 |
| 04 (76~79) | 좌표를 벗어나 변환 자체를 봤습니다 |
| 05 (80~83) | 가장 가까운 것을 찾았습니다 |
| 06 (84~89) | 방향별로 들어갔습니다 |
| 07 (90~92) | 그 계산의 한계를 쟀습니다 |
중심 정리를 모읍니다.
| 정리 | 강의 |
|---|---|
| 계수-퇴화차수 | 73 |
| 네 부분공간의 직교 | 74 |
| 정규방정식 | 82 |
| 스펙트럼 정리 | 86 |
| 특이값 분해 | 88 |
| 조건수의 오차 증폭 | 91 |
86강과 88강이 정점입니다. 대칭이면 완벽하게 다룰 수 있고, 대칭이 아니어도 기저를 둘 쓰면 언제나 됩니다.
그리고 일곱 번 반복된 교훈이 있습니다.
| 공식 | 실제 계산 |
|---|---|
| 크라메르 (67) | 소거 |
| (69) | solve |
| 여인수 전개 (78) | LU |
| 정규방정식 (82) | QR |
| 특성방정식 (84) | QR 알고리즘 |
| (85) | 슈어, SVD |
| 의 고유분해 (88) | 직접 SVD |
이론이 무엇을 뜻하는지 알려 주고 계산은 다른 길로 갑니다. 07단원이 그 이유를 설명합니다.
93강부터 시작하는 S5 다변수 미적분과 최적화는 이 과목의 도구를 함수에 적용합니다.
| 이 과목에서 | S5에서 |
|---|---|
| 76강 선형변환 | 미분이 선형근사 |
| 79강 야코비안 | 다변수 치환적분 |
| 87강 헤세와 양정치 | 극값 판정 |
| 91강 조건수 | 경사하강법의 속도 |
| 88강 SVD | 저계수 근사와 압축 |
선형대수가 그곳의 언어입니다. 미분은 선형근사이고, 이계 근사는 이차형식이며, 최적화의 수렴은 조건수로 결정됩니다.
120강 뒤에 관문 3이 있습니다. 62강부터 120강까지를 섞어 다시 묻습니다.
마지막으로 이 과목이 남기는 태도를 적어 둡니다.
조건수를 재고, 잔차만 보지 말고, 직교 변환 기반 알고리즘을 쓰고, 상쇄가 일어날 자리를 피합니다.