LLM의 능력을 숫자로 재는 방법은 크게 객관식 채점과 자유 생성 채점 두 갈래로 나뉘고, 어느 쪽을 고르느냐가 연구 결과의 성격을 결정한다. 이 강에서는 두 방식의 트레이드오프와, 최근 널리 쓰이는 LLM-judge 방식이 안고 있는 순환성 문제를 다룬다.
- 같은 능력을 재는데 4지선다 점수와 자유 생성 점수가 다르게 나오는 이유는 무엇인가?
- LLM-judge의 순환성 문제란 무엇이고, 어떤 편향으로 나타나는가?
- 내 실험에서 평가 형식을 고를 때 어떤 순서로 판단해야 하는가?
전통적인 분류 모델은 출력 공간이 닫혀 있다. 스팸이냐 아니냐, 고양이냐 개냐를 맞히면 되므로 정답과의 일치 여부로 채점이 끝난다. LLM은 다르다. 출력이 자유 텍스트이기 때문에 "모델이 초성 줄임말 'ㅇㅈ'을 이해했는가"라는 하나의 질문에도 채점 가능한 형태로 바꾸는 방법이 여러 개 존재하고, 그 선택이 측정값을 바꾼다.
평가 형식은 측정 도구다. 4강에서 종속 변수를 정의했다면, 이 강은 그 종속 변수를 어떤 자로 잴 것인가를 정하는 단계다. 자가 휘어 있으면 뒤의 통계(9~12강)가 아무리 정교해도 결론이 휜다.
객관식 평가는 정답 하나와 오답(distractor) 여러 개를 보기로 제시하고, 모델이 고른 보기가 정답과 일치하는지로 채점한다. MMLU 같은 대형 벤치마크가 이 형식이다.
장점은 명확하다.
- 채점이 결정적이다. 정답 보기의 기호(A/B/C/D)와 비교하면 끝이므로, 채점 과정에 사람의 판단이나 또 다른 모델이 개입하지 않는다. 재현성(13강)이 채점 단계에서 깨질 여지가 없다.
- 우연 수준(chance level)이 정의된다. 4지선다면 찍어도 25%다. 이 값이 자연스러운 하한 기준선(baseline)이 되어, "모델이 아무것도 모를 때"와 통계적으로 구별할 수 있다(9강의 검정이 여기서 작동한다).
- 비용이 낮다. 문항당 토큰이 적고 채점이 자동이라 다중 시드·다중 arm 실험(13강)을 감당할 수 있다.
- 인식(recognition)을 재지, 생성(production)을 재지 못한다. 'ㅇㅈ'의 뜻을 보기에서 고르는 것과, 문맥에서 스스로 풀어 쓰는 것은 다른 능력이다. 4지선다 정답률 90%가 "모델이 이 줄임말을 자유롭게 쓸 수 있다"를 뜻하지 않는다.
- 오답 보기의 품질이 곧 문항의 난이도다. 오답이 터무니없으면 소거법만으로 정답이 나오고, 점수는 능력이 아니라 오답 설계의 허술함을 잰다. 이것이 7강에서 본 천장 효과의 흔한 원인이다.
- 보기 제시 방식 자체가 변수다. 정답이 어느 위치(A~D)에 오는가에 따라 정답률이 달라지는 보기 위치 편향이 알려져 있다. 위치를 셔플·순환시켜 통제하는 절차는 19강에서 다룬다.
- 형식 순응 능력이 섞여 들어간다. "A/B/C/D 중 하나만 답하라"는 지시를 따르는 능력 자체가 모델마다 달라서, 파싱 실패를 오답 처리하면 지시 순응도와 과제 능력이 뒤섞인다. 파싱 실패는 오답과 별도 범주로 집계해야 한다.
같은 4지선다라도 채점 구현은 두 계열이 있고, 둘의 결과가 항상 일치하지 않는다.
- 생성 기반 채점: 모델에게 답을 텍스트로 생성시키고 "A" 같은 기호를 파싱한다. 실사용에 가깝지만 파싱 규칙이 변수로 추가된다.
- 로그확률(log-probability) 기반 채점: 각 보기 기호(또는 보기 전문)에 모델이 부여하는 확률을 비교해, 가장 높은 쪽을 모델의 선택으로 간주한다. 파싱 문제가 사라지고 API 호출도 절약되지만, 모델이 실제로 그 답을 출력했을 것이라는 보장은 없다.
어느 쪽이든 틀린 방법은 아니다. 문제는 논문 안에서, 그리고 비교하는 선행 연구와의 사이에서 채점 방식이 섞이는 것이다. 같은 모델·같은 문항에서도 두 방식의 정답률이 달라질 수 있으므로, 어떤 방식을 썼는지 명시하고 모든 arm에 동일하게 적용해야 한다.
자유 생성 평가는 보기 없이 질문만 주고, 모델이 생성한 텍스트를 채점한다. "ㅇㅈ이 무슨 뜻인지 설명하라"가 이 형식이다.
- 실사용에 가까운 능력을 잰다. 사용자는 모델에게 보기를 주지 않는다. 배포 상황의 성능을 주장하려면 자유 생성 쪽이 타당도(validity)가 높다.
- 부분적 이해가 드러난다. 객관식은 맞음/틀림 둘뿐이지만, 자유 생성 답변에서는 "뜻은 알지만 용례가 틀렸다" 같은 중간 상태가 보인다.
자유 생성의 비용은 전부 채점에서 발생한다. 채점 방법은 대략 세 가지다.
| 채점 방법 |
방식 |
약점 |
| 정확 일치(exact match) |
정규화 후 gold 문자열과 비교 |
표현이 조금만 달라도 오답 처리, 재현은 쉬움 |
| 사람 채점 |
루브릭 기반 수동 판정 |
비용이 크고, 주석자 간 일치도(5강의 κ) 확보 필요 |
| LLM-judge |
다른(또는 같은) LLM이 판정 |
아래에서 다루는 순환성 문제 |
정확 일치는 "인정", "동의한다는 뜻", "認定에서 온 말" 같은 답을 모두 같은 정답으로 묶는 정규화 규칙을 요구하고, 이 규칙 자체가 결과를 좌우하는 연구자 자유도가 된다. 규칙은 결과를 보기 전에 고정해야 하며, 이는 14강의 사전 등록이 담당한다.
번역·요약 연구에서 오래 쓰인 BLEU, ROUGE 같은 표층 중복 기반 자동 지표를 자유 생성 채점에 끌어오는 경우도 있으나, 이 지표들은 gold와 단어가 얼마나 겹치는지를 잴 뿐 뜻이 맞는지를 재지 못한다. 정답과 표현이 다르지만 옳은 답이 낮은 점수를 받고, 정답 문구를 흉내 냈지만 틀린 답이 높은 점수를 받는 역전이 일어난다. 짧은 정의형 답변 평가에는 부적합하다고 보는 것이 안전하다.
| 기준 |
객관식 |
자유 생성 |
| 재는 능력 |
인식(고르기) |
생성(만들기) |
| 채점 |
결정적, 자동 |
열린 문제 (정규화·사람·judge 중 선택) |
| 우연 수준 |
정의됨 (4지선다 25%) |
정의 안 됨 |
| 실사용 타당도 |
낮음 |
높음 |
| 비용 |
낮음 |
채점 비용이 큼 |
| 주요 위협 |
오답 품질, 위치 편향, 소거법 |
채점 규칙의 자유도, judge 편향 |
표가 보여주듯 한쪽이 우월한 것이 아니라, 무엇을 잃을지 고르는 문제다. 그래서 두 형식을 함께 쓰고 결과가 같은 방향인지 확인하는 설계가 자주 권장된다.
LLM-judge(LLM-as-a-judge)는 채점을 사람 대신 LLM에게 맡기는 방식이다. 답변 하나에 점수를 매기게 하거나, 두 답변 중 나은 쪽을 고르게 한다. 사람 채점보다 훨씬 싸고 빠르기 때문에 급속히 표준처럼 퍼졌다.
문제의 핵심은 이렇다. 측정 대상과 측정 도구가 같은 종류의 시스템이라서, 도구의 결함이 대상의 점수와 상관을 갖는다. 자를 검증하지 않은 채 자로 잰 값을 믿는 셈이다. 구체적으로 알려진 편향은 다음과 같다.
- 자기 선호 편향(self-preference bias): judge 모델이 자기 자신(또는 같은 계열 모델)의 출력 문체를 더 높게 평가하는 경향. judge와 피평가 모델이 같으면 점수가 체계적으로 부풀 수 있다.
- 장황함 편향(verbosity bias): 내용이 같아도 길고 상세해 보이는 답을 선호하는 경향. "길게 쓰는 능력"이 "잘 아는 능력"으로 둔갑한다.
- 위치 편향(position bias): 두 답변을 비교시킬 때 먼저 제시된 쪽을 선호하는 경향. 제시 순서를 바꿔 두 번 판정하고 일치할 때만 인정하는 식의 통제가 필요하다(통제 절차의 일반론은 19강).
- 능력 상한 문제: judge가 모르는 것은 채점하지 못한다. 한국어 초성 줄임말처럼 judge 모델 자신도 약한 영역에서는, judge 점수가 정답성이 아니라 "judge에게 그럴듯해 보이는 정도"를 잰다.
실제로 있었던 사례로, 채팅 어시스턴트 벤치마크 MT-Bench와 Chatbot Arena를 만든 연구진은 LLM-judge 방식을 제안하면서 동시에 그 한계를 체계적으로 실험했는데, 강한 모델을 judge로 써도 위치 편향과 장황함 편향이 뚜렷이 관찰되었고, 답변 제시 순서만 바꿔도 판정이 뒤집히는 문항이 상당수 존재함을 보고했다. 이후 후속 연구들에서 judge 모델이 자기 계열 모델의 출력을 선호하는 자기 선호 편향도 반복적으로 확인되었다. 이 연구 계열이 주는 교훈은 "LLM-judge를 쓰지 말라"가 아니라, judge 자체가 검증 대상인 측정 도구라는 것이다.
judge를 최신·최강 모델로 바꾸면 순환성이 사라진다고 생각하기 쉽지만, 그렇지 않다. 편향의 방향과 크기가 달라질 뿐 편향이 있다는 사실 자체는 남는다. 특히 피평가 모델 중 하나가 judge와 같은 계열이라면, judge가 강할수록 자기 선호가 결과를 더 크게 왜곡할 수도 있다. 또 하나의 오해는 "judge 점수도 숫자니까 통계 검정을 통과하면 믿을 수 있다"는 것인데, 검정(9강)은 표집 오차를 다룰 뿐 측정 도구의 체계적 편향은 다루지 못한다. 편향된 자로 천 번 재면 편향된 값이 정밀하게 나올 뿐이다.
- judge를 사람 채점과 대조해 검증한다. 표본 일부(예: 100~200문항)를 사람이 채점하고, judge 판정과의 일치도를 5강의 κ로 보고한다. 이 일치도가 낮으면 judge 점수 전체를 신뢰할 수 없다.
- judge와 피평가 모델의 계열을 분리한다. 같은 모델로 생성하고 채점하는 설계는 자기 선호 편향 때문에 기본적으로 피한다.
- judge 설정을 고정하고 기록한다. judge 모델 버전, 프롬프트, 온도(temperature)를 파이프라인 설정에 넣어 버전 관리한다(파이프라인 구성은 20강).
- 비교 판정은 순서를 뒤집어 두 번 시킨다. 두 판정이 엇갈리면 무승부로 집계한다.
한국어 초성 줄임말 이해를 재는 실험을 예로 형식 선택 절차를 밟아 보면 다음과 같다.
- 연구 질문이 요구하는 능력을 먼저 확정한다. "뜻을 아는가"(인식)라면 4지선다로 충분하고, "문맥에서 자연스럽게 풀어내는가"(생성)라면 자유 생성이 필요하다. 질문과 형식이 어긋나면 7강의 타당도 문제가 된다.
- 주 지표는 객관식으로 고정하는 선택이 안전하다. 채점이 결정적이라 다중 시드 실험과 통계 검정이 깔끔해지고, 우연 수준 25%가 명확한 기준선이 된다. 대신 오답 보기를 "같은 초성의 다른 풀이"처럼 어렵게 설계해 소거법을 막는다.
- 자유 생성은 보조 분석으로 붙인다. 부분 표본에 대해 자유 생성 + 사람 채점(또는 사람 대조 검증을 거친 LLM-judge)을 수행하면, 객관식 점수가 인식 능력만 재는 것 아니냐는 반론에 답할 수 있다.
- 채점 규칙·judge 설정·파싱 실패 처리 방침을 결과 보기 전에 문서로 고정한다. 이것이 14강의 사전 등록이 이 강과 만나는 지점이다.
주의: 어떤 형식을 고르든, 문항이 모델의 학습 데이터에 이미 들어 있었다면 점수는 이해가 아니라 암기를 잰다. 오염 진단과 학습 컷오프 기반 층화는 18강에서 다룬다.
- 객관식은 채점이 결정적이고 우연 수준이 정의되지만 인식 능력만 재고, 자유 생성은 실사용 타당도가 높지만 채점 자체가 열린 문제가 된다.
- LLM-judge는 싸고 빠르지만 자기 선호·장황함·위치 편향이 알려져 있으며, 측정 도구인 judge 자체를 사람 채점과 대조해 검증하지 않으면 순환 논증이 된다.
- 형식 선택의 기준은 편의가 아니라 연구 질문이 요구하는 능력이며, 채점 규칙은 결과를 보기 전에 고정한다.
- 4지선다 정답률 90%인 모델이 같은 문항의 자유 생성 평가에서 크게 낮은 점수를 받았다. 두 숫자가 각각 재고 있는 능력은 무엇이며, 어느 쪽이 틀린 측정인가?
- LLM-judge의 순환성 문제를 한 문장으로 정의하고, 그것이 드러나는 구체적 편향을 두 가지 이상 말할 수 있는가?
- LLM-judge를 쓰기로 했다면, 그 판정을 신뢰할 수 있음을 보이기 위해 결과 보고 전에 반드시 해야 하는 검증 절차는 무엇인가?