이 단원은 S4의 여섯 번째 단원이며 84강부터 89강까지를 맡습니다. 한 가지 질문에 답합니다.
어느 방향이 얼마나 늘어나는가.
04단원의 행렬식은 부피를 전체로 요약했습니다. 그런데 그것만으로는 부족합니다.
diag(10, 0.1)과I는 둘 다 det=1
부피는 같은데 하는 일이 전혀 다릅니다. 방향별 정보가 필요하며, 그것을 채우는 것이 이 단원입니다.
여섯 강의가 하나의 흐름을 이룹니다.
| 강의 |
하는 일 |
| 84 |
방향이 안 바뀌는 벡터를 찾습니다 |
| 85 |
그런 방향으로 기저를 만들면 대각이 됩니다 |
| 86 |
대칭이면 언제나 되고 조건수가 1입니다 |
| 87 |
이차형식의 부호가 고유값으로 정해집니다 |
| 88 |
기저를 둘 쓰면 모든 행렬에 됩니다 |
| 89 |
그것을 데이터에 적용해 차원을 줄입니다 |
86강이 이 단원의 중심입니다. 85강에서 본 두 가지 실패(아예 안 됨, 되어도 불안정)가 대칭에서는 모두 사라지며, 87강과 88강이 그 정리 위에 세워집니다.
이 단원의 강의는 개념을 먼저 나열하지 않습니다. 문제를 먼저 던지고, 그 문제를 푸는 과정에서 개념과 공식을 끌어냅니다. 각 문제는 문제, 생각의 실마리, 풀이, 이 문제에서 배우는 것, 바로 확인의 다섯 단계로 진행합니다.
이 단원에는 특히 조심할 것이 있습니다. "정의"와 "계산법"이 크게 다릅니다.
| 대상 |
정의 |
실제 계산 |
| 고유값 |
특성방정식의 근 |
QR 알고리즘 |
| 대각화 |
V\Lambda V^ |
슈어 분해 |
| 특이값 |
A⊤A의 고유값의 제곱근 |
A에 직접 SVD |
| 주성분 |
공분산의 고유벡터 |
데이터에 SVD |
오른쪽 열이 모두 왼쪽 열을 그대로 따르지 않습니다. 조건수가 제곱되거나 다항식 근이 불안정하기 때문입니다. 69강, 70강, 78강, 81강에 이어 이 단원에서 그 교훈이 네 번 더 반복됩니다.
또 하나, 수치 판정의 문턱 문제가 계속 나옵니다.
| 물음 |
문턱이 필요한 곳 |
| 결손인가 |
고유값이 같은지 (85강) |
| 양정치인가 |
고유값이 0인지 (87강) |
| 계수가 얼마인가 |
특이값이 0인지 (88강) |
| 몇 개를 남길까 |
특이값 감쇠 (89강) |
"정확히 0인가"는 부동소수점에서 물을 수 없는 질문입니다. 대신 "얼마나 작은가"를 묻고 문턱을 정해야 하며, 그 선택이 사람의 판단입니다.
85강 문제 2의 검산을 짤 때 실제로 이 함정에 걸렸습니다. 고유값을 소수 열째 자리로 반올림했더니 오차가 5×10−11 생겼고, 그것이 문턱을 넘어 대칭행렬이 대각화 불가능으로 잘못 판정되었습니다. 강의 본문에 그 사례를 적어 두었습니다.
- 이 단원은 84,85,86,87,88,89강 순서로 읽어야 합니다.
- 78강의 행렬식이 84강의 특성방정식에 필요합니다.
- 77강의 닮음과 불변량이 85강의 배경입니다.
- 63강의 내적과 양정치성이 86강 문제 1의 증명에 쓰입니다.
- 66강 문제 4의 전치 관계가 86강 문제 2의 직교성 증명에 쓰입니다.
- 80강의 그람슈미트가 86강 심화 2와 88강 심화 1의 확장 단계입니다.
- 73강 심화 2의 rank(A⊤A)=rankA가 88강의 출발점입니다.
- 74강의 네 부분공간이 88강 문제 4에서 정규직교기저를 얻습니다.
- 83강의 정사영과 자유도가 89강의 중심화와 이어집니다.
- 고유값과 고유벡터
- 대각화
- 대칭행렬과 스펙트럼 정리
- 이차형식과 양정치성
- 특이값 분해
- 저계수 근사와 주성분분석
-
- 고유값과 고유벡터
방향이 바뀌지 않는 벡터를 정의하고 특성방정식으로 찾습니다. 고유공간과 두 중복도를 세우고, 합과 곱이 대각합과 행렬식임을 밝히며, 구조별 고유값을 정리합니다.
-
- 대각화
고유벡터로 기저를 만들어 행렬을 대각으로 만듭니다. 가능 조건을 기하적 중복도로 판정하고, 거듭제곱과 행렬함수가 쉬워짐을 보이며, 결손 행렬에서 무엇이 무너지는지 봅니다.
-
- 대칭행렬과 스펙트럼 정리
대칭이면 고유값이 실수이고 고유벡터가 직교함을 증명합니다. 스펙트럼 분해를 사영의 합으로 쓰고, 조건수가 1이라 수치적으로 안전함을 확인하며, 레일리 몫의 범위를 밝힙니다.
-
- 이차형식과 양정치성
이차형식을 대칭행렬로 나타내고 부호를 고유값으로 판정합니다. 선행 주소행렬식과 콜레스키로 판정하는 법을 세우고, 주축으로 등고선을 그리며, 헤세 행렬로 임계점을 분류합니다.
-
- 특이값 분해
모든 행렬에 성립하는 분해를 세웁니다. 네 부분공간의 정규직교기저를 얻고, 노름과 조건수를 특이값으로 나타내며, 저계수 근사의 최적성을 확인합니다.
-
- 저계수 근사와 주성분분석
데이터를 중심화하고 분산이 큰 방향을 찾습니다. 재구성 오차가 버린 고유값의 합임을 확인하고, 척도에 민감하다는 경고를 수치로 보입니다.
- det(A−λI)에서 λI를 썼는가?
- 실행렬이어도 고유값이 복소수일 수 있음을 기억하는가?
- 고유값이 중복이라고 대각화 불가능이라 단정하지 않았는가?
- 대칭 행렬에
eigh를 썼는가?
- 이차형식의 교차항 계수를 반으로 나눴는가?
- 양반정치에 선행 주소행렬식을 쓰지 않았는가?
- Σ를 A와 같은 크기로 만들었는가?
- 특이값과 고유값을 혼동하지 않았는가?
- 주성분분석에서 중심화를 먼저 했는가?
- 단위가 다른 변수를 표준화 없이 넣지 않았는가?
- 고유값과 고유벡터를 구하고 구조별로 즉시 판정할 수 있습니다.
- 대각화 가능 조건을 판정하고 거듭제곱과 행렬함수를 계산할 수 있습니다.
- 스펙트럼 정리를 증명하고 그 수치적 이점을 설명할 수 있습니다.
- 이차형식의 부호를 세 방법으로 판정하고 임계점을 분류할 수 있습니다.
- 특이값 분해로 네 부분공간, 노름, 조건수, 의사역행렬을 얻을 수 있습니다.
- 주성분분석을 실행하고 척도의 영향을 판단할 수 있습니다.
90강부터 시작하는 07단원은 한계를 잽니다.
이 과목 내내 "조건수가 크면 위험하다"고 경고했습니다. 그런데 그 조건수를 정식으로 정의하지 않았습니다. 88강 문제 5에서 특이값으로 썼을 뿐입니다.
κ(A)=σrσ1
07단원이 그 정의를 세우고 왜 오차가 그만큼 증폭되는지 증명합니다.
| 지금까지의 경고 |
07단원에서 |
| 노름이 여러 가지 |
90강에서 정의와 성질 |
| 조건수가 크면 위험 |
91강에서 증명 |
| \kappa(A^{\top}A)=\kappa(A)^ |
91강 |
| 파국적 상쇄 (45강) |
92강 |
| 넘침과 로그 계산 |
92강 |
| 안정성과 조건의 구별 (67강 심화 6) |
91~92강 |
이 단원의 도구가 뒤에서 어떻게 쓰이는지도 적어 둡니다.
| 강의 |
이어지는 곳 |
| 84 고유값 |
100강대 미분방정식, 246강 그래디언트 |
| 85 행렬함수 |
etA, 확산 과정 |
| 86 스펙트럼 정리 |
130강대 다변량 정규분포 |
| 87 양정치 |
205강 볼록최적화, 209강 준뉴턴 |
| 88 SVD |
91강 조건수, 342강 저계수 적응 |
| 89 주성분 |
160강대 다변량 통계, 256강 임베딩 |
87강의 양정치성이 최적화 전체의 기초입니다. 볼록성 판정, 하강 방향, 수렴 속도가 모두 헤세 행렬의 부호와 조건수로 결정됩니다.