p값이 "차이가 우연인가"에 답한다면, 효과 크기는 "차이가 얼마나 큰가"에 답한다. 이 강에서는 유의성과 크기가 서로 다른 질문이라는 사실을 확인하고, Cohen's d와 95% 신뢰구간을 읽는 법을 다룬다.
9강에서 본 대로, p값은 "귀무가설이 참일 때 이 정도(이상)의 차이가 관측될 확률"이다. 이 정의 어디에도 차이의 크기는 등장하지 않는다. p값을 움직이는 요인은 두 가지다.
문제는 두 번째 요인이다. 표본이 충분히 크면 아무리 작은 차이도 유의해진다. 한국어 초성 줄임말 이해 능력을 4지선다로 평가하는 실험을 예로 들면, 모델 A가 정확도 71.2%, 모델 B가 71.9%로 0.7%p 차이가 났다고 하자. 문항이 200개면 이 차이는 유의하지 않지만, 문항을 50만 개로 늘리면 p < 0.001이 나온다. 차이 자체는 그대로인데 p값만 작아진 것이다.
반대 방향도 성립한다. 표본이 작으면 큰 차이도 유의하지 않게 나온다(이 문제는 12강 검정력에서 다룬다). 그래서 결과 보고는 항상 두 축으로 이루어져야 한다.
| 질문 | 답하는 통계량 |
|---|---|
| 이 차이가 우연인가? | p값 (9강) |
| 이 차이가 얼마나 큰가? | 효과 크기(effect size) |
| 이 추정이 얼마나 정밀한가? | 신뢰구간(confidence interval) |
주의: "p = 0.0001이므로 매우 큰 효과"라는 서술은 논문 리뷰에서 즉시 지적당하는 대표적 오류다. p값의 작음은 효과의 큼을 뜻하지 않는다.
효과 크기는 두 집단(또는 두 조건) 간 차이를 측정 단위와 무관하게 표현한 값이다. 가장 널리 쓰이는 것이 Cohen's d(코헨의 d)로, 평균 차이를 표준편차로 나눈 값이다.
여기서 는 두 집단의 분산을 합쳐 계산한 합동 표준편차(pooled standard deviation)다. 표준편차로 나누기 때문에 d는 단위가 없다. "정확도 3%p 차이"는 과제 난이도와 분산에 따라 큰 차이일 수도 작은 차이일 수도 있지만, "d = 0.8"은 어떤 과제에서든 같은 의미로 읽힌다: 두 집단의 평균이 표준편차의 0.8배만큼 떨어져 있다.
Cohen이 제안한 관례적 기준은 다음과 같다.
| d | 관례적 해석 | 직관 |
|---|---|---|
| 0.2 | 작은 효과 | 두 분포가 거의 겹친다 |
| 0.5 | 중간 효과 | 눈에 띄지만 겹침이 크다 |
| 0.8 | 큰 효과 | 분포가 상당히 분리된다 |
주의: 이 기준은 절대 규칙이 아니라 출발점이다. Cohen 본인도 분야 맥락 없이 쓰지 말라고 경고했다. LLM 벤치마크에서 d = 0.3짜리 개선이 실용적으로 의미 있을 수도 있고(비용이 같다면), d = 0.8이라도 프롬프트를 바꾼 부수 효과일 수도 있다(19강). 숫자를 관례표에 대입하고 끝내는 것이 아니라, "이 크기의 차이가 연구 질문(1강)에 비추어 의미 있는가"를 따로 판단해야 한다.
LLM 실험에서 d의 분모(표준편차)를 어디서 얻는지가 중요하다. 시드 5개로 같은 평가를 반복하면 arm마다 정확도가 5개씩 나오고, 그 평균과 표준편차로 d를 계산할 수 있다. 단일 시드로는 분산 자체를 추정할 수 없으므로 d도 계산할 수 없다. 단일 시드 보고가 위험한 또 하나의 이유다(13강). 이 연구실의 하네스가 across_seeds()에서 단일 시드 입력을 에러로 처리하는 것도 같은 맥락이다.
Cohen's d는 "두 평균의 표준화된 차이"라는 한 종류의 효과 크기일 뿐이다. 과제 형태에 따라 다른 지표가 더 자연스럽다.
중요한 것은 지표 선택이 아니라 원칙이다: 어떤 지표든, 유의성과 별개로 "얼마나 큰가"를 정량화한 값을 반드시 함께 보고한다. 그리고 어떤 지표를 쓸지는 결과를 보기 전에 정해 둔다. 결과를 본 뒤 유리하게 보이는 지표를 고르는 것은 15강에서 다루는 사후 선택의 한 형태다.
관측된 차이(예: 정확도 차이 +4.0%p)는 점 추정치다. 표본을 다시 뽑으면 다른 값이 나온다. 신뢰구간은 이 불확실성을 구간으로 표현한다.
95% 신뢰구간의 정확한 의미는 다음과 같다: 같은 절차로 실험을 무한히 반복해 매번 구간을 계산하면, 그 구간들의 95%가 참값을 포함한다. 절차의 성질이지, 눈앞의 특정 구간 하나에 대한 확률이 아니다.
흔한 오해와 대조하면 이렇다.
| 서술 | 판정 |
|---|---|
| "참값이 이 구간 안에 있을 확률이 95%다" | 틀렸다(빈도주의 CI에서 참값은 확률변수가 아니다) |
| "이 절차는 100번 중 95번 참값을 잡는 절차이고, 이번 구간은 그 한 번이다" | 맞다 |
| "구간이 좁을수록 추정이 정밀하다" | 맞다 |
| "구간이 겹치면 두 값의 차이는 유의하지 않다" | 대체로 틀렸다(겹쳐도 차이는 유의할 수 있으므로 차이 자체의 CI를 봐야 한다) |
초성 줄임말 4지선다 실험에서 "모델 B − 모델 A" 정확도 차이의 95% CI가 다음과 같이 나왔다고 하자.
시나리오 2와 3이 이 강의 핵심이다. p값 하나만 보고하면 두 상황의 결정적 차이가 사라진다.
정규 근사가 성립하는 경우 비율 차이의 CI는 표준오차 공식으로 구하지만, LLM 평가에서는 **부트스트랩(bootstrap)**이 실무 표준에 가깝다. 절차는 단순하다.
문항 단위로 짝지어 재추출하는 이유는 두 모델이 같은 문항을 푼다는 대응 구조를 보존하기 위해서다(대응 설계의 힘은 11강에서 다룬다). 시드에 걸친 변동까지 반영하려면 시드 수준에서 별도로 집계해야 하며, 이는 13강의 주제다.
효과 크기와 신뢰구간을 둘러싼 오해는 반복적으로 등장하므로 한 번에 정리한다.
| 오해 | 교정 |
|---|---|
| "p가 매우 작으니 효과가 크다" | p는 크기가 아니다. 표본이 크면 미미한 차이도 p가 작아진다 |
| "유의하지 않으니 효과가 없다" | 검출 실패와 부재는 다르다(12강). CI가 얼마나 큰 효과까지 배제하지 못하는지 봐야 한다 |
| "d = 0.5니까 중간 효과, 결론 끝" | 관례표는 출발점이다. 연구 질문 기준으로 실질적 의미를 따로 판단한다 |
| "두 모델 각각의 CI가 겹치니 차이는 유의하지 않다" | 각자의 CI 겹침과 차이의 유의성은 별개다. 차이 자체의 CI를 계산해야 한다 |
| "CI가 0을 포함하니 두 모델은 동일하다" | 0을 포함하는 CI는 "동일함의 증거"가 아니라 "구별 실패"다 |
효과 크기가 왜 유의성과 별도로 추적되어야 하는지를 보여준 대표 사례가 심리학 재현성 프로젝트(Reproducibility Project: Psychology)다. 여러 나라의 연구자들이 유명 심리학 저널에 실린 연구 100편을 원 논문의 절차대로 다시 수행했는데, 결과는 두 층위로 나뉘었다.
두 번째 결과가 중요한 이유는, "유의/비유의"라는 이분법만 보면 재현 실패가 전부-아니면-전무처럼 보이지만, 효과 크기로 보면 출판된 효과가 체계적으로 부풀려져 있었다는 연속적인 그림이 드러나기 때문이다. 유의한 결과만 출판되는 출판 편향과 사후 선택(15강)이 겹치면, 살아남은 논문의 효과 크기는 참값보다 크게 마련이다. 재현 연구가 효과 크기와 신뢰구간을 보고했기에 이 구조가 정량적으로 드러났다.
LLM 연구도 같은 압력 아래 있다. "새 프롬프트 기법으로 +5%p"라는 보고가 여러 시드·여러 벤치마크에서 재현될 때 얼마로 줄어드는지는, 효과 크기와 CI를 함께 보고하는 문화 없이는 확인할 수 없다.
논문이나 실험 노트에 결과를 적을 때의 체크리스트다.