이 단원은 S4의 다섯 번째 단원이며 80강부터 83강까지를 맡습니다. 한 가지 질문에 답합니다.
정확히 맞출 수 없을 때 가장 가까운 것은 무엇인가.
이 질문이 실무에서 가장 자주 나옵니다. 데이터를 모아 모형을 맞추면 관측이 미지수보다 많고, 정확한 해가 없습니다. 그러면 포기하는 대신 가장 가깝게 맞춥니다.
답은 이미 준비되어 있었습니다. 64강에서 한 방향으로의 정사영이 최소 거리를 준다고 했고, 74강에서 잔차가 좌영공간에 있어야 함을 보았습니다. 이 단원은 그것을 부분공간으로 확장하고 계산 가능하게 만듭니다.
y^=Py,P=X(X⊤X)−1X⊤=QQ⊤
네 강의가 같은 P를 네 각도에서 봅니다.
| 강의 |
각도 |
| 80 |
정사영을 만드는 재료(직교기저)를 준비합니다 |
| 81 |
그 과정을 분해로 저장합니다 |
| 82 |
정사영이 답인 문제를 세웁니다 |
| 83 |
정사영 자체를 해부합니다 |
이 단원의 강의는 개념을 먼저 나열하지 않습니다. 문제를 먼저 던지고, 그 문제를 푸는 과정에서 개념과 공식을 끌어냅니다. 각 문제는 문제, 생각의 실마리, 풀이, 이 문제에서 배우는 것, 바로 확인의 다섯 단계로 진행합니다.
이 단원에는 앞 단원들과 다른 성격이 있습니다. 수치 안정성이 계속 등장합니다.
| 강의 |
이론상 같은데 실제로 다른 것 |
| 80 |
고전 그람슈미트 대 수정 그람슈미트 |
| 81 |
정규방정식 대 QR |
| 83 |
의사역행렬의 문턱 선택 |
세 곳 모두 "수학은 같고 반올림 오차만 다른" 경우입니다. 80강에서 오차가 0.707과 10−16으로 갈리고, 81강에서 10−3과 10−16으로 갈립니다.
공식이 옳다고 그대로 계산하면 안 됩니다
67강 문제 5의 피벗팅, 69강 문제 5의 역행렬, 70강의 분해 재사용에 이어 같은 교훈이 반복됩니다. 이 단원에서 그 교훈이 가장 극적으로 나타납니다.
또 하나 눈여겨볼 것은 하나의 등식이 계속 다시 쓰인다는 점입니다.
∥x∥2=∥Px∥2+∥(I−P)x∥2
63강의 피타고라스 정리인데, 82강에서 최소임을 증명하고 82강 문제 5에서 분산분해가 되며 83강에서 결정계수가 됩니다. 세 곳이 같은 정리의 세 얼굴입니다.
- 이 단원은 80,81,82,83강 순서로 읽어야 합니다.
- 63강의 내적과 피타고라스 정리가 이 단원 전체의 바탕입니다.
- 64강의 한 방향 정사영이 80강에서 부분공간으로 확장됩니다.
- 70강의 분해 재사용 전략이 81강에서 반복됩니다.
- 73강 심화 2의 rank(A⊤A)=rankA가 82강의 유일성 조건입니다.
- 74강의 네 부분공간과 직교 관계가 82강의 정규방정식을 세 줄로 만듭니다.
- 75강의 정규직교기저와 조건수가 80강과 81강에서 값을 합니다.
- 79강의 부피 배율이 81강에서 ∏rkk로 다시 계산됩니다.
- 직교기저와 그람슈미트 과정
- QR 분해
- 최소제곱과 정규방정식
- 정사영 행렬과 회귀의 기하
-
- 직교기저와 그람슈미트 과정
직교기저의 이점을 확인하고 직교화 절차를 세웁니다. 부분공간으로의 정사영 행렬을 만들고 직교여공간 분해를 계산하며, 고전 그람슈미트가 왜 무너지는지 수치로 보입니다.
-
- QR 분해
그람슈미트의 결과를 분해로 저장합니다. 축소형과 완전형을 구별하고, 최소제곱을 삼각계로 바꾸며, 정규방정식보다 안정한 이유를 조건수로 설명하고, QR 알고리즘이 고유값을 주는 원리를 봅니다.
-
- 최소제곱과 정규방정식
최소제곱 문제를 세우고 잔차의 직교 조건에서 정규방정식을 유도합니다. 최소임을 피타고라스 정리로 증명하고, 정사영과의 관계를 밝히며, 직선 적합과 분산분해를 계산합니다.
-
- 정사영 행렬과 회귀의 기하
모자행렬의 성질과 레버리지를 다룹니다. 의사역행렬을 네 조건으로 정의하고 세 상황에서 무엇을 주는지 정리하며, 결정계수를 정사영의 겹침으로 설명합니다.
- 그람슈미트에서 매 단계 정규화했는가?
- 코드로 고전 그람슈미트를 쓰고 있지는 않은가?
- 축소형 Q를 직교행렬이라 부르지 않았는가?
- 최소제곱을 정규방정식으로 계산하고 있지는 않은가?
- (A⊤A)−1을 명시적으로 만들지 않았는가?
- 멱등만 보고 정사영이라 판정하지 않았는가?
- 분산 추정에서 n−p로 나눴는가?
- 잔차를 레버리지로 표준화했는가?
- 절편 없는 회귀에서 R2을 쓰지 않았는가?
- 열이 종속일 때 계수를 해석하려 하지 않았는가?
- 그람슈미트로 직교기저를 만들고 그 한계를 압니다.
- QR 분해를 계산하고 최소제곱에 쓸 수 있습니다.
- 정규방정식을 유도하고 왜 그것이 답인지 세 관점으로 설명할 수 있습니다.
- 정사영 행렬의 성질을 계산하고 통계적으로 해석할 수 있습니다.
- 의사역행렬이 무엇을 고르는지 상황별로 말할 수 있습니다.
- 회귀의 자유도, 레버리지, 결정계수를 기하로 설명할 수 있습니다.
84강부터 시작하는 06단원은 방향별로 들어갑니다.
04단원의 행렬식은 부피를 전체로 요약했고, 05단원은 직교성을 도구로 삼았습니다. 그런데 아직 답하지 않은 질문이 있습니다.
diag(10, 0.1)과I는 둘 다 det=1
어느 방향이 얼마나 늘어나는가를 물어야 합니다. 그 답이 고유값이며, 이 단원의 정사영도 고유값이 0과 1뿐인 특별한 경우였습니다.
| 이 단원에서 |
06단원에서 |
| 정사영의 고유값 0,1 |
84강 일반 고유값 |
| P=QQ^ |
86강 스펙트럼 분해 |
| 대칭행렬 A⊤A |
87강 이차형식과 양정치 |
| 의사역행렬 A^ |
88강 SVD로 계산 |
| 최소제곱의 조건수 |
88강 특이값, 91강 조건수 |
83강에서 A+를 네 조건으로 정의했지만 계산법은 미뤘습니다. 88강의 특이값 분해가 그 답이며, 동시에 이 단원의 여러 결과를 하나로 묶습니다.
A=UΣV⊤⟹A+=VΣ+U⊤,P=UU⊤,κ=σnσ1
이 단원의 도구가 뒤에서 어떻게 쓰이는지도 적어 둡니다.
| 강의 |
이어지는 곳 |
| 80 직교화 |
86강 스펙트럼 정리, 89강 주성분 |
| 81 QR |
84강 QR 알고리즘, 90강 수치 안정성 |
| 82 최소제곱 |
89강 저계수 근사, 160강대 회귀분석 |
| 83 정사영·의사역행렬 |
88강 SVD, 91강 조건수 |