같은 데이터, 같은 두 모델을 놓고도 검정을 어떻게 짜느냐에 따라 차이가 보이기도 하고 묻히기도 한다. 이 강에서는 두 조건을 비교할 때 검정력을 끌어올리는 대응(페어드) 설계와, 전체 평균이 거짓말을 하지 않도록 막는 층화 보고를 다룬다.
비교 설계(comparative design)는 두 개 이상의 조건(4강에서 말한 arm)을 견주어 차이를 판정하는 실험의 짜임새다. 어떤 조건을 둘지는 4강(실험 설계 기초)에서, 차이가 우연인지 판정하는 도구는 9강(가설 검정과 p값)에서 다뤘다. 이 강의 관심사는 그 사이에 있다. 같은 두 조건이라도, 관측값을 어떻게 짝짓고 어떻게 쪼개서 보고하느냐에 따라 결론의 신뢰도가 달라진다는 점이다.
LLM 연구의 전형적인 장면을 놓고 보자. 한국어 초성 줄임말(예: "ㅇㅈ", "ㄱㅅ")을 LLM이 이해하는지 4지선다 문항 400개로 평가하고, 모델 A와 모델 B 중 어느 쪽이 나은지 판정하려 한다. 두 모델 모두 같은 400문항을 푼다. 이때 두 가지 선택지가 생긴다.
| 방식 | 데이터를 보는 눈 | 검정 |
|---|---|---|
| 독립 비교 | A의 점수 목록과 B의 점수 목록을 서로 무관한 두 표본으로 취급 | 독립 이표본 검정(unpaired test) |
| 대응 비교 | 문항 마다 (A의 결과, B의 결과) 쌍을 만들어 차이를 본다 | 대응 검정(paired test) |
같은 문항을 양쪽이 풀었다면 데이터는 이미 짝지어져 있다. 그런데도 독립 검정을 쓰는 것은 정보를 스스로 버리는 일이다.
400개 문항은 난이도가 제각각이다. "ㅇㅈ"처럼 웹에 흔한 줄임말은 어느 모델이든 맞히고, 특정 커뮤니티에서만 쓰는 신조어는 어느 모델이든 틀린다. 즉 관측값의 분산에는 두 가지가 섞여 있다.
독립 검정은 이 둘을 구분하지 못한다. 문항 간 분산이 크면 분모(표준오차)가 부풀어, 실제로 존재하는 모델 간 차이가 잡음에 묻힌다.
대응 검정은 문항별 차이 를 먼저 만든다. 문항이 원래 쉬웠는지 어려웠는지는 와 에 똑같이 들어 있으므로 빼는 순간 사라진다. 남는 것은 모델 간 차이와 그 차이의 요동뿐이다. 대응 t 검정의 통계량은
로, 분모의 가 "차이의 표준편차"라는 점이 핵심이다. 문항 간 분산이 클수록 독립 검정 대비 이득이 커진다.
대응 검정이 강력하다는 말은, 비교와 무관한 분산을 설계 단계에서 제거해 같은 표본으로 더 작은 차이를 검출한다는 뜻이다. 검출할 수 있는 차이의 크기와 표본 수의 관계는 12강(검정력과 표본 크기)에서 이어서 다룬다.
구체적인 감각을 위해 극단적인 상황을 상상해 보자. 400문항 중 200문항은 두 모델 모두 항상 맞히고, 200문항은 둘 다 어렵지만 그중 A가 B보다 꾸준히 몇 문항씩 더 맞힌다고 하자. 독립 검정의 눈에는 "쉬운 문항 절반, 어려운 문항 절반"이라는 큰 분산이 먼저 들어와, A와 B의 꾸준한 격차가 그 안에 묻힌다. 대응 검정의 눈에는 문항별 차이만 보이므로, 쉬운 200문항은 차이 0으로 조용히 사라지고 어려운 문항에서의 일관된 격차만 남는다. 같은 데이터, 같은 격차인데 한쪽 설계에서는 보이고 다른 쪽에서는 안 보이는 것이다.
4지선다의 문항별 결과는 0/1이므로 t 검정 대신 짝지어진 이분 데이터용 검정을 쓴다. 대표가 McNemar 검정(McNemar's test)이다. 이 검정은 네 칸 분할표 중 불일치 쌍만 본다.
| B 정답 | B 오답 | |
|---|---|---|
| A 정답 | 둘 다 맞힘 (판정에 기여 없음) | A만 맞힘 |
| A 오답 | B만 맞힘 | 둘 다 틀림 (판정에 기여 없음) |
둘 다 맞히거나 둘 다 틀린 문항은 모델 우열에 대한 정보가 없다. "A만 맞힌 문항 수"와 "B만 맞힌 문항 수"가 우연으로 보기 어려울 만큼 비대칭인지가 전부다. 이 관점은 직관적으로도 유용하다. 전체 정확도가 72% 대 70%로 비슷해 보여도, 불일치 쌍이 한쪽으로 크게 쏠려 있으면 두 모델은 분명히 다른 것을 잘하고 있는 것이다.
기계번역 평가 연구에서 널리 쓰이는 대응 부트스트랩 재표집(paired bootstrap resampling)도 같은 원리다. 두 시스템이 같은 테스트 문장 집합을 번역했다는 짝 구조를 유지한 채 문장을 재표집해, 점수 차이의 분포를 얻는다. 짝을 깨고 재표집하면 문장 난이도 분산이 다시 끼어들어 같은 데이터로도 판정이 무뎌진다. 이 기법은 기계번역 커뮤니티에서 시스템 비교의 표준 절차로 자리 잡아, 리더보드 점수 차이가 "재표집해도 순위가 유지되는 차이인가"를 묻는 관행을 만들었다. LLM 벤치마크 비교에도 그대로 옮겨 쓸 수 있다.
연속 점수(예: 문항별 로그확률, 생성 품질 점수)를 비교하는데 차이 의 분포가 심하게 치우쳐 있거나 이상치가 많다면, 평균 대신 순위를 쓰는 Wilcoxon 부호 순위 검정(Wilcoxon signed-rank test)이 대응 t 검정의 비모수 대안이다. 어느 쪽이든 "문항별 차이를 본다"는 짝 구조는 같고, 차이를 요약하는 방식만 다르다.
주의: 대응 검정은 짝이 실제로 존재할 때만 쓸 수 있다. 모델 A는 문항 1~400, 모델 B는 문항 401~800을 풀었다면 짝이 없으므로 독립 검정이 맞다. 그래서 순서가 중요하다. 분석 방법은 데이터를 짝지을 수 있게 수집을 설계했는가에 의해 결정된다. 두 조건을 비교할 계획이라면 처음부터 같은 문항 집합, 같은 프롬프트 템플릿, 같은 디코딩 설정으로 양쪽을 돌려 짝을 보존한다. 템플릿이나 보기 순서가 조건마다 달라지면 짝의 의미가 깨지는데, 이 함정은 19강(프롬프트 공정성)에서 다룬다.
층화(stratification)는 데이터를 의미 있는 하위 그룹(층)으로 나누어 그룹별로 결과를 보고하는 것이다. 층화가 필수인 이유를 보여 주는 고전적 실제 사례가 UC 버클리 대학원 입학 분석이다. 1970년대 버클리의 전체 합격률을 보면 남성 지원자의 합격률이 여성보다 뚜렷이 높아 성차별 소지가 제기되었다. 그런데 학과별로 쪼개어 보자 그림이 뒤집혔다. 대부분의 학과에서는 여성의 합격률이 남성과 비슷하거나 오히려 높았다. 전체 수치의 격차는 여성 지원자가 합격률이 낮은(경쟁이 치열한) 학과에 더 많이 지원했기 때문에 생긴 것이었다. 집계 방향에 따라 결론이 반전되는 이 현상을 심슨의 역설(Simpson's paradox)이라 부른다.
교훈은 단순하다. 하위 그룹의 구성 비율이 조건마다 다르면, 전체 평균의 비교는 조건의 효과가 아니라 구성의 차이를 재고 있을 수 있다.
초성 줄임말 벤치마크로 돌아가면, 전체 정확도 하나만 보고하면 안 되는 상황이 바로 보인다.
층화 보고는 결과표를 층별로 나눠 싣는 것으로 끝나지 않는다. 층별 표본 수를 함께 적어야 한다. 층을 잘게 쪼갤수록 층 하나의 표본이 작아져 그 층의 추정이 불안정해지고, 신뢰구간(10강)이 넓어진다. 표본이 20개뿐인 층에서의 5%p 차이는 판정 근거가 되기 어렵다.
보고 형식의 예는 다음과 같다. 층·표본 수·양쪽 arm의 결과·차이를 한 표에 담고, 전체 행을 맨 아래에 둔다.
| 층 | 모델 A | 모델 B | 차이 | |
|---|---|---|---|---|
| 고빈도 줄임말 | (층별 문항 수) | (정확도) | (정확도) | (차이와 신뢰구간) |
| 저빈도·신조어 | … | … | … | … |
| 컷오프 이후 등장 | … | … | … | … |
| 전체 | 400 | … | … | … |
전체 행만 있는 표와 이 표의 차이가 곧 층화 보고의 유무다. 리뷰어가 "어느 층이 전체 차이를 끌고 있는가"를 표에서 바로 읽을 수 있어야 한다.
두 장치는 배타적이 아니라 중첩된다. 층별로 보고하되, 각 층 안에서의 비교는 여전히 대응 검정으로 한다. 층은 "어디서 차이가 나는가"에 답하고, 대응은 "그 차이가 문항 난이도 잡음이 아닌가"에 답한다. 층을 나눴다고 짝을 풀어 버리면 층 안에서 다시 검정력을 잃는다.
주의: 결과를 본 뒤에 "이기는 층"을 찾아 쪼개는 것은 층화가 아니라 사후 선택이다. 층을 100가지 방식으로 나누다 보면 우연히 유의해 보이는 층이 반드시 나온다(15강, p-해킹과 다중 비교). 층의 정의와 어느 층이 주 분석인지는 데이터를 열기 전에, 이상적으로는 사전 등록(14강) 문서에 고정한다. 연구실이 쓰는 DVC 파이프라인에서라면 층 정의를 conf/ 설정 파일에 넣어 커밋해 두는 것이 그 고정에 해당한다.
두 모델(arm)을 비교하는 평가를 설계할 때의 점검 순서다.
수집 단계에서 짝이 조용히 깨지는 경로가 몇 가지 있다.