LLM이 평가 문항을 맞혔을 때, 그것이 능력의 증거인지 이미 본 적 있는 문장의 재생인지는 점수만 봐서는 구별할 수 없다. 이 강에서는 학습 데이터 오염이 무엇이고, 암기와 이해를 실험 설계로 어떻게 구별하는지, 특히 학습 컷오프 기반 층화를 어떻게 하는지 다룬다.
학습 데이터 오염(training data contamination)은 평가에 쓸 문항, 정답, 또는 그와 사실상 같은 내용이 모델의 사전학습(pre-training) 데이터에 이미 포함되어 있는 상태를 말한다. 이때 모델이 그 문항을 맞히는 것은 문제를 푸는 능력의 증거가 아니라 암기(memorization)의 증거일 수 있다.
6강에서 배운 데이터 누수(data leakage)와 본질은 같다. 평가에 써야 할 정보가 학습 쪽으로 새어 들어간 것이다. 그러나 결정적인 차이가 하나 있다.
| 구분 | 전통적 누수 (6강) | LLM 학습 데이터 오염 |
|---|---|---|
| 누수 경로 | 내가 만든 train/test 분할 | 모델 제작사의 사전학습 데이터 |
| 학습 데이터 확인 | 가능 (내 데이터) | 대부분 불가능 (비공개) |
| 예방 | 분할 규칙으로 차단 가능 | 사후 진단만 가능한 경우가 많다 |
| 책임 주체 | 실험자 본인 | 실험자가 통제할 수 없음 |
전통적 실험에서는 assert_no_group_leakage 같은 검사로 누수를 원천 차단할 수 있다. 그러나 상용 LLM의 사전학습 데이터는 공개되지 않으므로, "내 평가 문항이 학습에 쓰였는가"를 직접 확인할 길이 없다. 그래서 LLM 연구에서는 오염을 막는 설계가 아니라 오염 여부를 진단하고 그 영향을 분리하는 설계가 필요하다.
7강에서 숫자가 실력을 부풀리는 세 가지 방식 중 하나로 오염을 언급했다. LLM 연구에서 이것이 특히 심각한 이유는 규모 때문이다. 사전학습 데이터는 웹 전체를 긁어 만들며, 널리 알려진 벤치마크일수록 문항과 정답이 논문·블로그·깃허브 저장소·풀이 사이트 등 온갖 형태로 웹에 퍼져 있다. 즉 유명한 벤치마크일수록 오염되어 있을 확률이 높다.
오염된 벤치마크로 얻은 점수는 두 가지를 망가뜨린다.
코드 문제와 학습 컷오프. GPT-4 공개 직후, 온라인 알고리즘 대회 문제로 성능을 확인하던 연구자들이 흥미로운 패턴을 발견했다. 모델의 학습 컷오프 이전에 출제된 문제는 잘 풀었지만, 컷오프 이후에 출제된 새 문제에서는 성능이 크게 떨어졌다. 문제 유형과 난이도가 비슷한데도 출제 시점만으로 성능이 갈렸다면, 이전 문제의 점수 상당 부분이 이해가 아니라 암기였다는 강한 정황이 된다. 이 관찰은 컷오프 기반 층화가 오염 진단 도구로 널리 쓰이게 된 계기 중 하나다.
수학 벤치마크의 복제 실험. 널리 쓰이는 초등 수준 수학 벤치마크에 대해, 한 연구팀이 같은 난이도·같은 형식·같은 유형의 문제를 사람 손으로 새로 만들어 비공개로 유지한 뒤 여러 모델을 평가했다. 일부 모델은 원본 벤치마크와 새 문제에서 비슷한 성능을 보였지만, 일부 모델은 새 문제에서 뚜렷하게 성능이 하락했다. 하락 폭이 큰 모델일수록 원본 벤치마크 점수가 암기로 부풀려져 있었다고 해석할 수 있다. 같은 벤치마크 점수라도 모델에 따라 그 의미가 다를 수 있다는 것을 보여준 사례다.
이 두 사례가 보여주는 공통 교훈은 이렇다. 오염은 점수 자체에서는 보이지 않고, "모델이 봤을 수 없는 문항"과의 비교를 통해서만 드러난다.
학습 데이터를 직접 열어볼 수 없으므로, 우회적인 진단 방법을 쓴다. 각각 한계가 있어 보통 여러 개를 조합한다.
모델 제작사가 평가셋 문항과 사전학습 데이터 사이의 n-gram 중복을 검사해 보고하는 방식이다. 기술 보고서에 "오염 검사를 수행했다"고 쓰여 있는 경우가 이것이다. 한계가 명확하다. 학습 데이터에 접근할 수 있는 제작사만 할 수 있고, 문항을 번역·의역·요약한 형태의 간접 오염은 문자열 중복으로 잡히지 않는다. 외부 연구자는 이 보고를 검증할 수 없다.
문항의 앞부분만 주고 뒷부분을 생성하게 한다. 모델이 문항의 나머지를, 특히 보기 문구나 문항 고유의 어색한 표현까지 그대로 재현한다면, 그 문항을 통째로 외웠다는 강한 증거다. 4지선다 문항이라면 질문만 주고 보기 4개를 생성하게 했을 때 원본 보기가 순서까지 맞게 나오는지 확인한다. 이 검사는 오염의 존재를 확인하는 데는 유용하지만, 재현하지 못한다고 오염이 없다고 단정할 수는 없다. 외웠지만 재현 형태가 다를 수 있기 때문이다.
문항의 표면 형태를 바꿔도 답이 유지되는지 본다. 숫자를 바꾸고, 등장 인물 이름을 바꾸고, 보기 순서를 섞고, 문장을 의역한다. 이해했다면 성능이 유지되어야 하고, 외웠다면 성능이 떨어진다. 원본과 변형본의 성능 차이가 곧 암기 성분의 추정치가 된다. 주의할 점은 변형이 문제의 난이도 자체를 바꾸지 않도록 설계해야 한다는 것이다. 보기 순서 섞기가 만드는 별도의 편향(위치 편향)은 19강에서 다룬다.
이 강의 핵심 도구다. 아래에서 절차까지 자세히 다룬다.
| 방법 | 누가 할 수 있나 | 잡아내는 것 | 주요 한계 |
|---|---|---|---|
| 문자열 중복 검사 | 학습 데이터 보유자만 | 문항의 직접 유출 | 의역·번역 등 간접 오염을 놓침, 외부 검증 불가 |
| 이어쓰기 검사 | 외부 연구자 가능 | 문항 단위의 통째 암기 | 재현 실패가 비오염의 증거는 아님 |
| 변형 검사 | 외부 연구자 가능 | 표면 형태 의존(암기 성분) | 변형이 난이도를 바꾸면 해석 불가 |
| 컷오프 기반 층화 | 외부 연구자 가능 | 시점별 성능 격차(오염 정황) | 층 간 교란 변수, 컷오프 정보의 불확실성 |
네 방법은 경쟁 관계가 아니라 보완 관계다. 외부 연구자가 쓸 수 있는 뒤의 세 가지를 조합하는 것이 실전의 기본형이다.
학습 컷오프(training cutoff)는 모델의 사전학습 데이터가 수집된 마지막 시점이다. 컷오프 이후에 세상에 나타난 텍스트는 모델이 학습 중에 봤을 수 없다. 이 사실이 자연 실험(natural experiment)의 조건을 만들어 준다.
컷오프 기반 층화(cutoff-based stratification)는 평가 문항을 "모델이 봤을 수 있는 것"(컷오프 이전)과 "봤을 수 없는 것"(컷오프 이후)으로 나누어 각 층의 성능을 따로 보고하고 비교하는 설계다. 층화 자체의 일반 원리는 11강에서 다뤘다. 여기서는 층화 변수가 문항 소재의 등장 시점이라는 점이 핵심이다.
한국어 초성 줄임말 이해를 4지선다로 평가하는 실험을 예로 들면 절차는 다음과 같다. 초성 줄임말은 유행 시기가 비교적 분명해서 이 설계에 잘 맞는 소재다.
컷오프 기반 층화는 강력하지만, 두 층이 시점 말고도 다른 점이 있으면 해석이 무너진다. 4강에서 배운 통제의 문제가 그대로 재현되는 것이다.
층화는 이미 존재하는 오염을 진단하는 도구다. 평가셋을 직접 만드는 입장이라면 오염을 줄이는 방향의 대응도 함께 설계할 수 있다.
초성 줄임말 평가셋이라면, 문항 전문을 공개 저장소에 올리지 않는 것만으로도 이후 연구에서 이 평가셋을 다시 쓸 수 있는 수명이 크게 늘어난다.
"오염 검사를 통과했다는 벤치마크니까 안심해도 된다." 아니다. 문자열 중복 검사는 간접 오염을 잡지 못하고, 검사 시점 이후에 나온 모델에는 적용되지 않는다. 벤치마크의 오염 검사와 별개로 내 실험의 모델·문항 조합에 대한 진단이 필요하다.
"컷오프 이후 문항에서 성능이 떨어졌으니 이 모델은 오염됐다." 단정은 이르다. 위의 함정들, 특히 난이도 교란을 배제해야 오염이라고 해석할 수 있다. 반대로 성능이 유지됐다고 오염이 전혀 없다고 단정할 수도 없다. 층화는 오염의 정황 증거를 만드는 도구이지 확정 판정기가 아니다.
"내가 문항을 새로 만들었으니 오염 걱정이 없다." 문항 문구가 새것이어도 소재가 오래됐으면 간접 오염이 가능하다. 널리 알려진 줄임말은 뜻풀이 글이 웹에 무수히 있고, 모델은 그것을 학습했을 수 있다. 이 경우 모델이 맞히는 것은 "초성 줄임말의 규칙을 추론하는 능력"이 아니라 "그 줄임말의 뜻을 검색하듯 꺼내는 능력"이다. 연구 질문(1강)이 전자라면 이것 역시 넓은 의미의 오염이다. 문항 신규성과 소재 신규성을 구별해야 한다.
"오염 층에서만 잘하는 결과가 나오면 연구가 실패다." 아니다. "이 과제의 벤치마크 성능은 상당 부분 암기로 설명된다"는 것 자체가 보고 가치가 있는 발견이다. 음성 결과의 가치는 16강에서 다뤘다.
오염 대응은 결과가 나온 뒤에 하는 변명이 아니라 설계 단계의 의무다. 초성 줄임말 실험 기준으로 정리하면 다음과 같다.