실험을 돌리면 숫자가 쏟아진다. 그 숫자 더미를 사람이 읽을 수 있는 형태로 줄이는 첫 도구가 기술통계이고, 동시에 잘못 줄이면 결론을 통째로 왜곡하는 첫 함정이기도 하다.
기술통계(descriptive statistics)는 수집한 데이터 자체의 특징을 요약해 보여주는 통계다. "이 표본에서 무엇이 관찰되었는가"를 말할 뿐, "그래서 모집단에서도 그런가", "이 차이가 우연인가"는 말하지 않는다. 후자는 추론통계(inferential statistics)의 영역이고, 9강(가설 검정과 p값)과 10강(효과 크기와 신뢰구간)에서 다룬다.
순서가 중요하다. 검정을 돌리기 전에 기술통계와 분포부터 봐야 한다. 데이터가 어떻게 생겼는지 모른 채 p값부터 뽑으면, 이상치 하나가 만든 차이를 "효과"로 읽거나, 애초에 평균 비교가 무의미한 데이터에 평균 비교 검정을 적용하게 된다.
기술통계는 크게 두 질문에 답한다.
| 질문 | 통계량 |
|---|---|
| 값들이 어디쯤 몰려 있는가 (중심 경향) | 평균, 중앙값, 최빈값 |
| 값들이 얼마나 퍼져 있는가 (산포) | 분산, 표준편차, 범위, 사분위범위 |
평균(mean)은 모든 값을 더해 개수로 나눈 값이다. . 가장 널리 쓰이지만, 모든 값이 계산에 들어가기 때문에 극단값 하나에 크게 끌려간다.
중앙값(median)은 값을 크기순으로 늘어놓았을 때 한가운데 오는 값이다. 극단값의 영향을 거의 받지 않는다.
최빈값(mode)은 가장 자주 나타나는 값이다. 범주형 데이터나 봉우리가 여러 개인 분포에서 유용하다.
| 통계량 | 계산 | 강점 | 약점 |
|---|---|---|---|
| 평균 | 총합 ÷ 개수 | 모든 값을 반영, 수학적으로 다루기 쉬움 | 극단값에 민감 |
| 중앙값 | 크기순 가운데 값 | 극단값에 강건 | 값 대부분의 정보를 쓰지 않음 |
| 최빈값 | 최다 빈도 값 | 범주형·다봉 분포에 유효 | 연속형 데이터에서는 정의가 애매 |
세 값이 언제 갈라지는지가 핵심이다. LLM 실험에서 흔한 상황을 보자. 모델의 응답 지연 시간(latency)을 100회 측정했더니 대부분 1초 안팎인데, 서버가 잠시 멈춘 3회만 30초가 나왔다. 이때 평균은 약 1.9초로 튀지만 중앙값은 1초 근처에 머문다. "평균 응답 1.9초"라고 쓰면 전형적인 사용자 경험을 두 배 가까이 부풀려 서술하는 셈이다. 지연 시간, 소득, 텍스트 길이처럼 오른쪽으로 긴 꼬리를 가진 데이터에서는 중앙값이 더 정직한 대표값이고, 두 값을 함께 보고하는 것이 안전하다.
주의: 평균과 중앙값이 크게 다르다는 것 자체가 신호다. 분포가 비대칭이거나 이상치가 있다는 뜻이므로, 그 시점에 히스토그램을 그려야 한다.
두 프롬프트 조건의 4지선다 정확도가 모두 평균 0.72라고 하자. 같은 결과인가? 조건 A는 시드별로 0.71, 0.72, 0.73이 나왔고, 조건 B는 0.55, 0.72, 0.89가 나왔다면 전혀 같은 결과가 아니다. A는 안정적이고 B는 무언가(디코딩 온도, 보기 순서, 데이터 셔플)에 심하게 흔들리고 있다. 이 차이를 잡는 것이 산포(dispersion) 통계다.
분산(variance)은 각 값이 평균에서 얼마나 떨어져 있는지를 제곱해 평균 낸 값이다. 표본에서는 대신 로 나눈다.
편차를 그냥 더하면 양수와 음수가 상쇄되어 항상 0이 되므로 제곱해서 더한다. 로 나누는 이유는, 평균 를 데이터에서 추정해 쓰는 순간 편차들 사이에 제약이 하나 생겨(편차의 합이 0) 자유롭게 움직이는 값이 개뿐이기 때문이다. 이를 자유도(degrees of freedom) 보정이라 부른다. 이 크면 차이가 미미하지만, 시드 3개짜리 실험처럼 이 작을 때는 무시할 수 없다.
표준편차(standard deviation)는 분산의 제곱근 다. 제곱을 되돌렸기 때문에 원래 데이터와 단위가 같아, 보고할 때는 분산보다 표준편차를 쓴다. "정확도 0.72 ± 0.01"과 "0.72 ± 0.17"은 완전히 다른 이야기다.
위의 두 조건에 실제로 적용해 보면 이렇다.
| 조건 | 시드별 정확도 | 평균 | 표준편차 |
|---|---|---|---|
| A | 0.71, 0.72, 0.73 | 0.72 | 0.01 |
| B | 0.55, 0.72, 0.89 | 0.72 | 0.17 |
평균 열만 있는 표는 두 조건을 구별하지 못한다. 표준편차 열이 붙는 순간 "B는 아직 결론 낼 상태가 아니다"가 표에서 바로 읽힌다.
범위(range)는 최댓값과 최솟값의 차이, 사분위범위(interquartile range, IQR)는 상위 25% 지점(Q3)과 하위 25% 지점(Q1)의 차이다. IQR은 양 끝 극단값을 잘라내고 가운데 절반의 퍼짐을 보므로, 중앙값과 짝을 이루는 강건한 산포 지표다.
정리하면 짝이 있다. 평균에는 표준편차, 중앙값에는 IQR. 비대칭 데이터에 "평균 ± 표준편차"만 쓰는 것은 짝이 맞지 않는 보고다.
한 가지 구분을 미리 해 둔다. 시드 3개로 얻은 정확도의 표준편차는 "실험이 얼마나 흔들리는가"(run 간 변동)이고, 문항 1,000개 각각의 정답 여부에서 오는 변동은 "표본이 유한해서 생기는 불확실성"이다. 둘은 다른 물건이며, 후자를 구간으로 표현하는 신뢰구간은 10강에서, 시드를 여러 개 써야 하는 이유는 13강에서 다룬다.
평균과 표준편차는 분포(distribution)를 두 개의 숫자로 압축한 것이다. 압축이므로 손실이 있고, 어떤 손실인지는 원본을 봐야만 안다.
분포를 보는 기본 도구는 두 가지다.
도구가 무엇이든, 분포에서 확인할 것은 네 가지다.
히스토그램(histogram)을 그렸을 때 봉우리가 하나면 단봉, 둘 이상이면 다봉 분포다. 다봉이라는 것은 보통 서로 다른 집단이 섞여 있다는 뜻이다. 초성 줄임말 평가에서 문항별 정답률 분포에 봉우리가 두 개라면 널리 퍼진 줄임말(정답률 0.9 부근)과 최신 줄임말(0.3 부근)이 섞여 있을 수 있고, 이때 전체 평균 0.6은 어느 집단도 대표하지 않는 숫자다. 이럴 때는 층으로 나눠 따로 보고해야 하며, 층화 보고의 설계는 11강에서 다룬다.
꼬리가 오른쪽으로 길면 양의 왜도(skewness), 왼쪽으로 길면 음의 왜도다. 왜도가 크면 평균이 꼬리 쪽으로 끌려가 중앙값과 벌어진다. 앞의 지연 시간 예가 전형적인 양의 왜도다.
값이 척도의 상한이나 하한에 눌러붙어 있으면 천장·바닥 효과를 의심해야 한다. 정답률이 대부분 0.95 이상이라면 그 벤치마크는 이미 변별력을 잃은 것이다. 이 함정 자체는 7강에서 다뤘고, 여기서 기억할 것은 그것을 발견하는 도구가 바로 분포 그림이라는 점이다.
이상치(outlier)는 나머지와 동떨어진 값이다. 관례적으로 Q1 − 1.5×IQR보다 작거나 Q3 + 1.5×IQR보다 큰 값을 후보로 본다. 중요한 것은 판정이 아니라 그다음 행동이다. 이상치는 지우는 값이 아니라 조사하는 값이다. API 타임아웃 로그가 정확도 0으로 기록된 것이라면 측정 오류이므로 원인을 고치고 제외 사유를 기록한다. 반면 모델이 특정 유형에서 정말로 무너지는 것이라면 그것이야말로 연구 결과다. 어떤 경우든 제외 기준은 결과를 보기 전에 정해 두어야 하며(사전 등록, 14강), 결과를 본 뒤 마음에 안 드는 점을 골라 지우는 것은 15강에서 다루는 사후 선택의 한 형태다.
통계학자 프랜시스 앤스컴이 만든 "앤스컴 콰르텟(Anscombe's quartet)"은 이 강의 주제를 통째로 보여주는 고전 사례다. 그는 네 개의 작은 데이터셋을 구성했는데, 네 셋 모두 x의 평균과 분산, y의 평균과 분산, 두 변수의 상관계수, 회귀직선까지 사실상 동일하다. 그러나 산점도를 그리면 전혀 다르다. 하나는 평범한 선형 관계, 하나는 뚜렷한 곡선 관계, 하나는 이상치 한 점이 회귀선을 통째로 끌고 간 경우, 하나는 한 점을 빼면 x가 전부 같은 값인 경우다. 요약 통계만 보고서에 실었다면 네 데이터셋은 "같은 결과"로 기록되었을 것이다.
같은 아이디어를 현대적으로 밀어붙인 것이 "데이터사우루스(Datasaurus)" 계열 데이터셋이다. 평균·표준편차·상관계수를 소수점 둘째 자리까지 고정한 채 점들을 조금씩 움직여, 공룡 그림부터 별 모양까지 전혀 다른 산점도들을 만들어냈다. 교훈은 동일하다. 요약값이 같다는 것은 데이터가 같다는 뜻이 아니며, 그림을 그리기 전까지는 무엇을 잃어버렸는지조차 알 수 없다.
초성 줄임말 4지선다 평가를 예로, 결과 테이블을 만들기 전 순서를 정리한다.
다른 사람의 논문을 읽을 때도 같은 목록이 점검표가 된다. 결과 테이블에서 확인할 것: