벤치마크 점수가 올랐다고 반드시 실력이 는 것은 아니다. 이 강에서는 숫자가 실력을 부풀리는 세 가지 대표 경로(천장 효과, 편향, 오염)를 정의하고, 본 실험 전에 이를 탐지하는 절차를 다룬다.
연구에서 재고 싶은 것은 대개 직접 관찰할 수 없는 능력이다. "LLM이 한국어 초성 줄임말을 이해하는가"라는 질문에서 '이해'는 구성 개념(construct)이고, 실제로 재는 것은 4지선다 정확도라는 대리 지표(proxy)다. 측정의 타당도(validity)란 이 대리 지표가 구성 개념을 얼마나 충실히 반영하는가의 문제다.
측정의 함정은 모두 이 틈에서 생긴다. 대리 지표의 숫자는 올라가는데 구성 개념 쪽 실력은 그만큼 늘지 않은 상태, 즉 숫자가 실력을 부풀리는 상태다. 이 강에서 다루는 세 함정은 부풀리는 방식이 서로 다르다.
| 함정 | 부풀리는 방식 | 한 줄 비유 |
|---|---|---|
| 천장 효과 | 시험이 너무 쉬워서 누구나 만점 근처 | 구구단으로 수학자를 뽑는다 |
| 편향 | 문제 밖의 단서로 정답을 맞힘 | 시험지에 정답이 비쳐 보인다 |
| 오염 | 문항을 이미 외우고 있음 | 시험지를 미리 봤다 |
천장 효과(ceiling effect)는 측정 도구의 상한 근처에 점수가 몰려, 대상 간 실력 차이를 더 이상 구별하지 못하는 현상이다. 모든 모델이 97~99%를 기록하는 4지선다 세트가 전형적인 예다. 반대로 모든 대상이 하한(4지선다라면 우연 수준인 25%) 근처에 몰리는 바닥 효과(floor effect)도 대칭적으로 존재한다.
자연어 이해 벤치마크 GLUE는 여러 과제의 점수를 묶어 모델의 언어 이해력을 재는 표준 지표로 널리 쓰였다. 그러나 공개 후 오래 지나지 않아 대형 사전학습 모델들이 인간 기준선을 넘어서는 점수를 기록했고, 벤치마크 상단에 점수가 몰리면서 모델 간 우열을 구별하는 도구로서의 수명이 사실상 끝났다. 제작진은 이를 인정하고 더 어려운 과제들로 재구성한 SuperGLUE를 내놓았다. 벤치마크가 천장에 도달하면 측정 도구 자체를 갈아야 한다는 것을 보여준 대표 사례다. 인간 기준선을 넘었다는 것이 인간보다 언어를 잘 이해한다는 뜻이 아니라는 점도 함께 남았다. 대리 지표의 천장과 구성 개념의 천장은 다르다.
여기서 말하는 편향(bias)은 측정 절차가 정답과 상관된 부수 단서(spurious cue)를 남겨, 재려는 능력 없이도 점수를 얻을 수 있게 만드는 체계적 왜곡이다. 모델이 지름길(shortcut)을 배우면 숫자는 높지만 구성 개념과 무관한 것을 잰 셈이 된다.
20세기 초 독일에서 산수 문제를 풀어 답을 발굽으로 두드린다는 말 '영리한 한스(Clever Hans)'가 화제가 되었다. 통제된 검증 결과, 이 말은 계산을 한 것이 아니라 질문자의 무의식적인 자세 변화와 표정을 읽어 두드림을 멈출 시점을 알아낸 것으로 밝혀졌다. 질문자가 답을 모르거나 말이 질문자를 볼 수 없으면 정답률이 무너졌다. 측정 상황 안의 부수 단서만으로 "능력이 있는 것처럼 보이는" 현상의 원형이라, 기계학습에서 지름길 학습을 가리켜 '영리한 한스 효과'라고 부른다.
기계학습에도 같은 구조의 유명한 발견이 있다. 자연어 추론(NLI) 데이터셋에서, 전제 문장을 아예 주지 않고 가설 문장만 입력해도 모델이 우연 수준을 크게 웃도는 정확도를 내는 것으로 보고되었다. 주석자들이 모순 가설을 만들 때 부정어를 자주 쓰는 식의 작성 습관이 라벨과 상관된 단서를 남겼기 때문이다. 즉 벤치마크 점수의 상당 부분이 '추론 능력'이 아니라 '주석 습관 탐지 능력'을 재고 있었다.
초성 줄임말 4지선다를 예로 들면, 다음 항목들이 점검 대상이다.
| 편향 | 증상 | 통제 |
|---|---|---|
| 정답 길이 편향 | 정답 보기가 오답보다 일관되게 길거나 짧다 | 보기 길이 분포를 정답/오답 간 맞춘다 |
| 정답 위치 편향 | 정답이 특정 번호에 몰린다 | 정답 위치를 균등 셔플한다 (모델 쪽 위치 선호 통제는 19강) |
| 오답 품질 편향 | 오답이 명백히 엉뚱해 소거법으로 풀린다 | 오답을 같은 범주의 그럴듯한 후보로 만든다 |
| 주석자 편향 | 특정 주석자의 작성 습관이 정답과 상관된다 | 주석 지침과 이중 주석으로 통제한다 (5강) |
| 도메인 편향 | 특정 출처의 문항만 쉽거나 어렵다 | 출처를 층화 축으로 기록해 층화 보고한다 |
편향 탐지의 핵심 도구는 정보를 제거한 기준선(ablated baseline)이다. 재려는 능력에 필수적인 입력을 지우고도 점수가 나오면, 남은 입력에 단서가 새고 있다는 뜻이다.
이 기준선들은 arm이 아니라 측정 도구의 건전성 검사다. 본 실험의 arm 정의(conf/arms.yaml)와 별도로, gold 확정 직후 파일럿 단계에서 돌린다.
오염(contamination)은 평가 문항 또는 그 유사 변형이 모델의 학습 데이터에 이미 들어가 있어, 이해가 아니라 암기로 점수를 얻는 상태다. 6강에서 다룬 test set 누수의 LLM판이지만, 결정적 차이가 있다. 직접 나눈 데이터의 누수는 분할 절차로 통제할 수 있지만, LLM의 학습 코퍼스는 웹 전체 규모이고 대부분 비공개라서 무엇이 들어갔는지 확인조차 어렵다.
널리 알려진 사례로, 초등 수준 수학 문제 벤치마크가 LLM 평가의 표준으로 자리 잡은 뒤, 같은 형식과 난이도로 문항을 완전히 새로 작성해 다시 평가한 연구가 있다. 일부 모델은 기존 벤치마크 점수에 비해 새 문항에서 눈에 띄게 낮은 점수를 기록했고, 이는 기존 점수의 일부가 추론 능력이 아니라 학습 중 노출된 문항의 암기에서 왔음을 시사했다. 벤치마크가 유명해질수록 웹에 더 많이 복제되어 다음 세대 모델의 학습 데이터에 들어가기 쉬워진다는 역설도 함께 지적된다.
초성 줄임말 평가도 예외가 아니다. 널리 쓰이는 줄임말은 뜻풀이 사전과 커뮤니티 글 형태로 웹에 이미 존재하므로, 그 문항의 정답은 '초성 해독 능력'이 아니라 '해당 문서의 암기'로도 맞힐 수 있다. 신조어 여부와 등장 시기를 문항 메타데이터로 기록해 두면, 모델의 학습 컷오프 이후에 등장한 줄임말 층에서의 성능을 따로 볼 수 있다. 암기로는 맞힐 수 없는 층이기 때문이다.
이 학습 컷오프 기반 층화와 오염 탐지 기법의 상세는 18강에서 다루므로, 이 강에서는 "오염 가능성을 층화 축으로 미리 설계에 넣는다"는 원칙까지만 짚는다.
세 함정은 설계 단계 점검이 원칙이지만, 이미 나온 결과에서도 다음 신호가 보이면 되돌아가 점검해야 한다.
| 신호 | 의심되는 함정 |
|---|---|
| 모든 arm의 점수가 상한 근처에 몰려 있고 분산이 매우 작다 | 천장 효과 |
| 능력과 무관해 보이는 조건(보기 순서, 문항 출처)에 따라 점수가 크게 출렁인다 | 편향 |
| 널리 알려진 문항에서만 유독 점수가 높고, 새로 만든 유사 문항에서 급락한다 | 오염 |
| 약한 기준선 모델이 상식 밖으로 높은 점수를 낸다 | 편향 또는 오염 |
정리하면 다음과 같다.
| 함정 | 부풀리는 방식 | 핵심 탐지법 | 상세를 다루는 강 |
|---|---|---|---|
| 천장 효과 | 시험이 쉬워 차이가 안 보임 | 강한 모델 파일럿, 문항별 정답률 | 11강(층화 보고), 12강(검정력) |
| 편향 | 문제 밖 단서로 맞힘 | 정보를 뺀 기준선, 위치·길이 통제 | 5강(주석), 19강(프롬프트 공정성) |
| 오염 | 문항을 암기하고 있음 | 등장 시기 층화, 신규 문항 대조 | 18강(학습 데이터 오염) |
세 함정의 점검은 공통적으로 gold 확정 직후, 본 실험 전에 한다. 순서로 정리하면 다음과 같다.
주의: 본 실험 결과를 본 뒤에 "이 문항은 편향이 있었으니 빼자"고 결정하면, 그 순간 함정 점검이 아니라 사후 선택(15강)이 된다. 같은 행위라도 시점이 결과 앞이면 설계이고, 결과 뒤면 조작에 가까워진다. 이것이 점검 절차를 파이프라인의 앞 단계에 두고 사전 등록으로 고정하는 이유다.