1~21강에서 다룬 용어를 단원별 표로 모아 한 페이지에 정리한다. 각 용어의 배경·절차·흔한 오해는 해당 강에서 상세히 다루므로, 이 문서는 정의를 빠르게 확인하고 원래 강으로 되돌아가는 색인으로 쓴다.
| 용어 | 뜻 | 한 줄 예시 |
|---|---|---|
| 연구 질문(research question) | 예/아니오나 숫자로 답할 수 있게 좁힌 물음. 좋은 질문의 조건은 1강 | "LLM은 한국어 초성 줄임말 4지선다에서 우연 수준(25%)을 넘는가" |
| 가설(hypothesis) | 연구 질문에 대한 검증 가능한 예측 진술 (2강) | "GPT 계열의 정답률은 25%를 유의하게 넘을 것이다" |
| 반증 조건(falsification condition) | 가설이 틀렸다고 인정할 관측 결과를 실험 전에 못 박은 것 (2강) | "정답률 95% CI가 25%를 포함하면 가설 기각" |
| HARKing (Hypothesizing After Results are Known) | 결과를 본 뒤 가설을 만들고 처음부터 세웠던 것처럼 쓰는 행위 (2강) | 신조어 하위집합만 점수가 높자 "신조어 이해" 연구였다고 소급해 쓰는 것 |
| 선행 연구 조사(literature review) | 같은 질문을 다룬 기존 연구를 찾고, 읽고, 정리하는 절차 (3강) | 한국어 은어·줄임말 벤치마크 논문을 먼저 모아 차이점을 정리 |
| 인용(citation) | 주장의 근거가 되는 출처를 표기해 연결하는 것 (3강) | 선행 벤치마크의 정답률 수치를 쓸 때 원 논문을 표기 |
| 독립 변수(independent variable) | 연구자가 조작하는 원인 쪽 변수 (4강) | 모델 종류, few-shot 예시 개수 |
| 종속 변수(dependent variable) | 결과로 측정하는 변수 (4강) | 4지선다 정답률 |
| 실험군(treatment group) | 관심 처치를 가한 조건 (4강) | 뜻풀이 힌트를 준 프롬프트 조건 |
| 대조군(control group) | 처치만 뺀 비교 조건 (4강) | 힌트 없이 문항만 준 프롬프트 조건 |
| arm | 비교 대상이 되는 실험 조건 하나하나 (4강) | zero-shot arm, few-shot arm, 힌트 arm |
| baseline | 성능 판단의 기준이 되는 가장 단순한 arm (4강) | 무작위 선택(25%), 항상 최빈 보기 선택 |
| 통제(control) | 관심 변수 외의 조건을 모든 arm에서 똑같이 고정하는 것 (4강) | 온도·프롬프트 템플릿·보기 순서를 arm 간 동일하게 유지 |
| 용어 | 뜻 | 한 줄 예시 |
|---|---|---|
| gold(정답 레이블) | 평가의 기준이 되는, 사람이 절차를 거쳐 확정한 정답 (5강) | "ㅇㅈ"의 gold를 "인정"으로 확정한 정답표 |
| 주석(annotation) | 원자료에 정답·태그를 붙이는 작업 (5강) | 수집한 줄임말 500개에 뜻과 오답 보기 3개를 붙이는 일 |
| 주석자 간 일치도(inter-annotator agreement) | 두 명 이상의 주석자가 독립적으로 붙인 레이블이 일치하는 정도 (5강) | 두 명이 따로 뜻을 적고 불일치 항목만 합의로 해소 |
| Cohen's κ(카파) | 우연히 일치할 확률을 보정한 두 주석자의 일치도 지표 (5강) | κ=0.85면 우연을 넘어선 실질적 합의로 해석 |
| train/val/test 분할(split) | 학습용·튜닝용·최종 평가용으로 데이터를 겹치지 않게 나누는 것 (6강) | 줄임말 500개를 300/100/100으로 분할 |
| 그룹 분할(group split) | 같은 출처·같은 원형에 속한 샘플이 분할 경계를 넘지 않게 나누는 것 (6강) | "ㅇㅈ"과 그 변형 "ㄹㅇㅇㅈ"을 같은 쪽에 배치 |
| 데이터 누수(data leakage) | test의 정보가 학습·튜닝 과정에 새어 들어가 점수를 부풀리는 것 (6강) | test 문항을 보며 프롬프트를 고친 뒤 같은 test로 최종 평가 |
| test 단일 개봉 원칙 | test는 모든 설계가 끝난 뒤 최종 평가에서 한 번만 여는 규칙 (6강) | val로만 프롬프트를 고르고 test는 논문 직전 1회 실행 |
| 천장 효과(ceiling effect) | 점수가 상한에 몰려 조건 간 차이가 안 보이는 현상 (7강) | 모든 모델이 98%를 넘겨 난도 높은 문항으로 재설계 |
| 측정 편향(measurement bias) | 측정 방식 자체가 한쪽으로 치우쳐 참값과 벗어나는 것 (7강) | 오답 보기가 너무 쉬워 이해 없이도 소거로 맞히는 문항 |
| 오염(contamination) | 평가 대상이 평가 자료를 이미 본 상태. LLM 특화 논의는 18강 (7강) | 유명 줄임말 사전이 학습 데이터에 통째로 포함된 경우 |
| 용어 | 뜻 | 한 줄 예시 |
|---|---|---|
| 기술통계(descriptive statistics) | 데이터를 요약해 보여주는 수치들. 요약값이 숨기는 것은 8강 | 시드 5개 정답률의 평균과 표준편차 보고 |
| 평균(mean) | 값들의 합을 개수로 나눈 대표값 (8강) | 5회 실행 정답률의 평균 62.4% |
| 분산(variance) | 값들이 평균에서 얼마나 흩어졌는지의 지표. 제곱근이 표준편차 (8강) | 시드 간 정답률이 ±8%p 출렁이면 평균만 봐선 안 됨 |
| 분포(distribution) | 값이 어떤 모양으로 퍼져 있는지 전체 그림 (8강) | 문항별 정답률 히스토그램으로 이봉 분포 확인 |
| 가설 검정(hypothesis testing) | 관측된 차이가 우연으로 설명되는지 판정하는 절차 (9강) | 정답률 62% vs 우연 25%가 우연인지 이항 검정 |
| 귀무가설(null hypothesis) | "차이가 없다"는 기본 가정. 검정은 이를 기각할 수 있는지 본다 (9강) | "모델 정답률은 25%와 다르지 않다" |
| p값(p-value) | 귀무가설이 참일 때 지금 결과 이상으로 극단적인 값이 나올 확률. 가설이 참일 확률이 아니다 (9강) | p=0.03은 "우연이라면 3% 확률의 결과"라는 뜻 |
| 통계적 유의성(statistical significance) | p값이 미리 정한 기준(보통 0.05) 아래라는 것. 차이가 크다는 뜻이 아니다 (9·10강) | 유의하지만 정답률 차이는 0.5%p일 수 있음 |
| 효과 크기(effect size) | 차이가 실제로 얼마나 큰지를 나타내는 지표 (10강) | 두 arm의 정답률 차이 12%p |
| Cohen's d | 표준편차 단위로 표현한 두 집단 평균 차이 (10강) | d=0.2는 작고 d=0.8은 큰 차이로 읽는 관례 |
| 95% 신뢰구간(confidence interval, CI) | 같은 절차를 반복하면 95%의 구간이 참값을 포함하도록 만든 범위 (10강) | 정답률 62% [95% CI 57~67] |
| 대응 검정(paired test) | 같은 문항에 대한 두 조건의 점수를 짝지어 비교하는 검정. 문항 난이도 차이가 상쇄돼 강력하다 (11강) | 문항별로 zero-shot과 few-shot 정오를 짝지어 비교 |
| 층화 보고(stratified reporting) | 전체 평균과 함께 의미 있는 부분집단별 결과를 나눠 보고하는 것 (11강) | 신조어/기존어, 컷오프 이전/이후로 나눈 정답률 표 |
| 검정력(statistical power) | 실제로 차이가 있을 때 그것을 검출할 확률 (12강) | 문항 50개로는 10%p 차이도 놓치기 쉬움 |
| 표본 크기(sample size) | 관측 단위의 개수. 검정력을 좌우한다 (12강) | 목표 효과 크기를 정하고 필요한 문항 수를 역산 |
| 용어 | 뜻 | 한 줄 예시 |
|---|---|---|
| 시드(seed) | 난수 생성의 시작값. 같은 시드면 같은 난수열이 나온다 (13강) | 보기 순서 섞기에 seed=42를 기록 |
| 단일 시드 보고 | 한 시드의 결과만 보고하는 것. 운 좋은 시드일 수 있어 위험하다 (13강) | 시드 하나로 63%였지만 5개 평균은 58%인 경우 |
| 다중 시드(multi-seed) | 여러 시드로 반복 실행해 평균과 산포를 함께 보고하는 것 (13강) | 시드 5개로 돌려 58.2% ± 2.1%p 보고 |
| 결정론(determinism) | 같은 입력·같은 코드·같은 시드면 항상 같은 출력이 나오는 성질 (13강) | 재실행 시 정답률이 소수점까지 재현되는지 확인 |
| 재현성(reproducibility) | 제3자가 같은 절차로 같은 결론에 도달할 수 있는 성질 (13강·20강) | 코드·데이터·시드·환경을 공개해 결과를 재생산 |
| 사전 등록(preregistration) | 가설·지표·분석 계획을 결과를 보기 전에 고정해 기록하는 것 (14강) | 실험 전 "주 지표는 test 정답률, 검정은 대응 검정"을 문서로 고정 |
| 판정 불가(inconclusive) | 미리 정한 기준상 지지도 기각도 아닌 결과. 사전에 정의해 둬야 한다 (14강) | "CI가 25%와 40%에 모두 걸치면 판정 불가"를 미리 명시 |
| p-해킹(p-hacking) | p<0.05가 나올 때까지 분석·조건을 바꿔가며 시도하는 관행 (15강) | 프롬프트를 바꿔 여러 번 돌리고 유의한 것만 보고 |
| 다중 비교(multiple comparisons) | 여러 검정을 하면 우연히 유의한 결과가 나올 확률이 커지는 문제. 보정이 필요하다 (15강) | 20개 하위집합을 검정하면 하나쯤은 우연히 p<0.05 |
| 사후 선택(post-hoc selection) | 결과를 본 뒤 유리한 지표·부분집합만 골라 보고하는 것 (15강) | 전체는 무의미하자 "10대 신조어"만 잘라 보고 |
| 음성 결과(negative result) | 가설이 지지되지 않은 결과. 잘 설계됐다면 그 자체로 지식이다 (16강) | "힌트를 줘도 정답률이 오르지 않았다"를 그대로 보고 |
| 용어 | 뜻 | 한 줄 예시 |
|---|---|---|
| 객관식 평가(multiple-choice evaluation) | 보기 중 하나를 고르게 해 자동 채점하는 방식. 채점은 쉽지만 소거 전략이 끼어든다 (17강) | 초성 줄임말 뜻을 4지선다로 출제 |
| 자유 생성 평가(free-form evaluation) | 자유롭게 답을 생성하게 하는 방식. 실제 능력에 가깝지만 채점이 어렵다 (17강) | "ㅇㅈ의 뜻을 설명하라"에 서술형 답변 채점 |
| LLM-judge | LLM으로 다른 LLM의 출력을 채점하는 방법 (17강) | 서술형 답을 다른 모델이 정오 판정 |
| 순환성(circularity) | 평가자와 피평가자가 같은 계열이라 판정이 독립적이지 못한 문제 (17강) | GPT가 GPT의 답을 채점하면 같은 오해를 정답 처리 |
| 학습 데이터 오염(training data contamination) | 평가 문항이 모델의 학습 데이터에 이미 포함된 상태 (18강) | 벤치마크 문항이 웹에 공개돼 있어 암기로 정답 |
| 암기 대 이해(memorization vs. understanding) | 본 적 있는 답의 재생인지, 규칙의 일반화인지 구별하는 문제 (18강) | 실험 직전에 새로 만든 줄임말로도 맞히는지 확인 |
| 학습 컷오프(training cutoff) | 모델이 학습한 데이터의 시점 상한 (18강) | 컷오프가 2025-01이면 그 뒤 신조어는 학습에 없음 |
| 컷오프 기반 층화 | 문항을 컷오프 이전/이후 등장으로 나눠 성능을 비교하는 오염 진단법 (18강) | 컷오프 이후 신조어에서만 점수가 급락하면 암기 의심 |
| 템플릿 통제(template control) | 비교하는 모든 조건에서 프롬프트 형식을 동일하게 고정하는 것 (19강) | 지시문·보기 표기(A/B/C/D)를 arm 간 통일 |
| 보기 위치 편향(position bias) | 정답 내용과 무관하게 특정 위치의 보기를 선호하는 성향 (19강) | 정답을 항상 A에 두면 점수가 부풀어 위치를 무작위 배치 |
| 디코딩 시드(decoding seed) | 생성 시 샘플링 난수를 고정하는 시드. 온도와 함께 통제 대상 (19강) | temperature=0 또는 시드 고정으로 재실행 변동 제거 |
| 용어 | 뜻 | 한 줄 예시 |
|---|---|---|
| 연구 파이프라인(research pipeline) | 원자료에서 논문 그림·표까지를 하나의 실행 그래프로 잇는 구조 (20강) | 데이터 정제→분할→평가→그림 생성을 한 그래프로 정의 |
| DVC (Data Version Control) | 데이터·파이프라인 버전 관리 도구. 단계 정의와 재실행을 자동화한다 (20강) | 데이터가 바뀌면 그림이 자동으로 무효화·재생성 |
| 시드 고정 | 파이프라인 전 단계의 난수 시드를 설정 파일에 기록해 재현을 보장하는 것 (13·20강) | 분할·평가 시드를 config에 명시하고 커밋 |
| IMRaD | 서론(Introduction)·방법(Methods)·결과(Results)·논의(Discussion)로 이루어진 논문 구조 (21강) | 반증 조건은 방법에, 층화 결과는 결과에 배치 |
| 투고(submission) | 완성한 원고를 학회·저널에 제출하는 절차 (21강) | 벤치마크 트랙 마감에 맞춰 원고와 데이터 명세 제출 |
| 피어 리뷰(peer review) | 동료 연구자가 원고의 타당성을 심사하는 절차 (21강) | 리뷰어가 오염 진단 근거를 요구하면 18강 절차로 답변 |
정의만 외우면 자주 섞이는 짝을 나란히 둔다. 리뷰 코멘트에서 지적받기 쉬운 지점이기도 하다.
| 짝 | 구별 기준 |
|---|---|
| 통계적 유의성 vs 효과 크기 | 유의성은 "우연이 아닌가", 효과 크기는 "얼마나 큰가". p=0.001이어도 차이는 미미할 수 있다 (9·10강) |
| 데이터 누수 vs 학습 데이터 오염 | 누수는 내 실험 절차 안에서 test 정보가 새는 것, 오염은 모델의 사전학습 단계에서 이미 새어 있던 것 (6·18강) |
| 음성 결과 vs 검출 실패 | "차이가 없다"와 "차이를 검출하지 못했다"는 다르다. 검정력이 낮으면 후자일 뿐이다 (12·16강) |
| HARKing vs 사전 등록 | 같은 분석이라도 결과를 보기 전에 고정했는가가 갈림길이다. 사전 등록은 HARKing의 구조적 방어책이다 (2·14강) |
| 단일 시드 vs 다중 시드 | 한 번의 결과는 운일 수 있다. 평균과 산포를 함께 보고해야 주장이 된다 (13강) |