이 강의의 목표는 분포를 평균 위치와 퍼짐, 함께 움직임으로 요약하는 법을 아주 기초부터 이해하는 것입니다.
먼저 오늘의 핵심 식을 봅니다.
E[X]=x∑xP(X=x)
이 식을 외우기 전에, 식 안의 말과 기호를 먼저 하나씩 풀어야 합니다.
| 말 |
뜻 |
| 기대값 |
확률을 고려한 평균 |
| 분산 |
평균에서 얼마나 퍼져 있는지 나타내는 값 |
| 표준편차 |
분산의 제곱근 |
| 공분산 |
두 변수가 함께 움직이는 정도 |
| 양의 공분산 |
한쪽이 커질 때 다른 쪽도 커지는 경향 |
수학에서 어려운 부분은 계산보다 읽기입니다. 뜻을 모르고 계산하면 공식이 암호처럼 보입니다.
주사위를 아주 많이 던지면 한 번의 결과는 매번 다르지만 평균은 일정한 값에 가까워집니다. 기대값은 이런 장기 평균의 중심입니다.
핵심 식을 기호 하나씩 뜯어 읽어 봅니다.
E[X]=x∑xP(X=x)
- E[X]는 확률변수 X의 기대값입니다. E는 기대(expectation)의 머리글자입니다.
- x는 X가 가질 수 있는 하나의 값입니다.
- P(X=x)는 그 값 x가 나올 확률입니다.
- ∑x는 가능한 모든 값 x에 대해 더하라는 뜻입니다.
즉 기대값은 각 값에 그 값이 나올 확률을 곱해 모두 더한 값입니다. 단순 평균이 아니라, 확률로 가중한 평균입니다.
예를 들어 값이 4일 확률이 21, 값이 6일 확률이 21인 변수라면
E[X]=4×21+6×21=2+3=5
입니다.
기대값이 중심 위치를 말한다면, 분산은 그 중심에서 값들이 얼마나 퍼져 있는지를 말합니다. 평균을 μ=E[X]라고 두면 분산의 정의는 다음과 같습니다.
Var(X)=E[(X−μ)2]
즉 각 값이 평균에서 떨어진 거리를 제곱해서, 그 제곱들의 기대값을 구한 것입니다. 거리를 제곱하는 이유는 부호를 없애 위아래 편차가 상쇄되지 않게 하기 위해서입니다.
이 정의를 풀면 계산에 편리한 다음 식이 나옵니다.
Var(X)=E[X2]−μ2
이 식은 "제곱의 평균 빼기 평균의 제곱"으로 외우면 됩니다.
분산이 한 변수의 퍼짐이라면, 공분산은 두 변수 X, Y가 함께 움직이는 정도입니다. 각 평균을 μX, μY라고 하면 정의는 다음과 같습니다.
Cov(X,Y)=E[(X−μX)(Y−μY)]
- X가 클 때 Y도 크면, 두 편차의 곱이 대체로 양수라 공분산이 양수입니다.
- X가 클 때 Y가 작으면, 곱이 대체로 음수라 공분산이 음수입니다.
X=Y이면 공분산은 곧 분산이 됩니다. 즉 분산은 공분산의 특별한 경우입니다.
분포 전체를 다 다루기는 어렵습니다. 그래서 분포를 몇 개의 숫자로 요약합니다. 기대값은 중심 위치, 분산은 퍼짐, 공분산은 두 값이 함께 움직이는 관계를 하나의 숫자로 압축합니다.
AI에서도 이 세 값은 핵심입니다. 손실의 기대값을 줄이는 것이 학습의 목표이고, 예측의 분산은 모델의 불안정함을 나타내며, 특징들 사이의 공분산은 데이터 구조를 파악하는 공분산행렬로 이어집니다.
- 값과 확률을 적는다.
- 각 값에 확률을 곱해 모두 더해 기대값을 구한다.
- 평균에서 떨어진 정도를 제곱해 분산을 구한다.
- E[X2]−μ2로 검산한다.
- 두 변수가 함께 움직이는지 공분산으로 본다.
이 순서를 말로 설명할 수 있으면, 공식을 완전히 외우지 않아도 다시 만들어 낼 수 있습니다.
문제: 앞면을 1, 뒷면을 0으로 두고 공정한 동전을 던지는 확률변수 X의 기대값과 분산을 구합니다.
풀이:
P(X=1)=21, P(X=0)=21입니다. 먼저 기대값을 구합니다.
μ=E[X]=1×21+0×21=0.5
다음으로 E[X2]을 구합니다. 12=1, 02=0이므로
E[X2]=1×21+0×21=0.5
따라서 분산은
Var(X)=E[X2]−μ2=0.5−(0.5)2=0.5−0.25=0.25
입니다. 표준편차는 0.25=0.5입니다.
문제: 값이 {4,6}에서 각각 확률 21인 변수 X와, 값이 {0,10}에서 각각 확률 21인 변수 Y의 분산을 비교합니다.
풀이:
두 변수 모두 기대값은 5로 같습니다.
E[X]=24+6=5,E[Y]=20+10=5
X의 분산은 평균 5에서의 편차 −1,+1을 제곱해 평균한 값입니다.
Var(X)=2(4−5)2+(6−5)2=21+1=1
Y의 분산은 편차 −5,+5를 제곱해 평균한 값입니다.
Var(Y)=2(0−5)2+(10−5)2=225+25=25
평균이 같아도 Y의 분산이 25로 훨씬 크므로, Y가 중심에서 더 넓게 퍼져 있습니다.
- 기대값 E[X]=∑xxP(X=x)은 확률로 가중한 평균, 즉 중심 위치입니다.
- 분산 Var(X)=E[(X−μ)2]=E[X2]−μ2은 평균에서의 퍼짐입니다.
- 공분산 Cov(X,Y)=E[(X−μX)(Y−μY)]은 두 변수가 함께 움직이는 정도입니다.
- 공정한 동전은 E[X]=0.5, Var(X)=0.25입니다.
- 작은 예시에서 계산 순서를 확인하면 큰 모델에서도 같은 구조를 찾을 수 있습니다.
- 기대값은 왜 실제로 항상 나오는 값이 아닐 수 있는가?
- 분산이 크다는 말은 무엇인가?
- 공분산이 양수라는 말은 어떤 경향인가?