사전 등록(preregistration)은 결과를 보기 전에 연구의 핵심 결정을 문서로 고정하고, 그 문서를 나중에 바꿀 수 없는 형태로 남기는 절차다. 이 강에서는 무엇을, 왜, 언제 고정해야 하는지와 "판정 불가"라는 세 번째 결론을 미리 정의하는 이유를 다룬다.
사전 등록은 데이터를 보기 전에 다음을 문서로 못 박는 행위다.
핵심은 문서의 내용이 아니라 시점이다. 같은 내용을 결과를 본 뒤에 쓰면 그것은 사전 등록이 아니라 사후 합리화다. 그래서 사전 등록은 타임스탬프가 남고 수정 이력이 추적되는 곳에 남긴다. 공개 플랫폼(OSF 등)을 쓰기도 하고, 연구실 내부적으로는 git 커밋만으로도 최소한의 효력이 있다. 커밋 해시와 시각은 위조하기 어렵기 때문이다.
이 연구실의 01_QUESTION.md를 코드 작성 전에 쓰고 커밋하는 규칙이 정확히 이 장치다. 반증 조건을 포함해 커밋된 01_QUESTION.md는 그 자체로 경량 사전 등록 문서다.
결과를 먼저 보면, 연구자는 자신도 모르게 결과에 유리한 쪽으로 기준을 옮긴다. 이것은 악의의 문제가 아니라 인지의 문제다. 다음은 모두 "그럴듯한 이유"와 함께 일어난다.
각 결정이 개별적으로는 방어 가능해 보이지만, 결과를 본 뒤의 결정이라는 점이 문제다. 결과에 맞춰 가설을 다시 쓰는 HARKing(2강)과 유리한 분석이 나올 때까지 돌리는 p-해킹(15강)은 이 자유도가 만드는 대표적 병리이고, 사전 등록은 그 자유도를 결과를 보기 전에 소진시키는 장치다.
사전 등록은 탐색적 분석(exploratory analysis)을 금지하는 것이 아니다. 탐색적 분석과 확증적 분석(confirmatory analysis)을 구분해서 보고하게 만드는 것이다.
| 구분 | 확증적 분석 | 탐색적 분석 |
|---|---|---|
| 시점 | 계획이 데이터보다 먼저 | 데이터를 본 뒤 |
| 역할 | 가설을 검증한다 | 다음 가설을 만든다 |
| p값의 의미 | 해석 가능 | 참고치일 뿐 (15강) |
| 보고 방식 | 본문 결과 | "탐색적"이라 명시 |
데이터를 뒤져서 발견한 패턴은 가치가 있다. 다만 그것은 검증된 결론이 아니라 다음 실험의 가설이고, 그렇게 표시해야 한다.
가설 검정의 결론을 "지지 / 기각" 둘로만 생각하면, 실험이 애매하게 나왔을 때 어느 한쪽으로 욱여넣게 된다. 실제로는 세 번째 결론이 필요하다.
판정 불가는 실험 자체가 답을 낼 자격을 잃은 경우다. 예를 들어:
한국어 초성 줄임말을 LLM이 이해하는지 4지선다로 평가하는 실험이라면, 사전 등록에 이런 판정 불가 조건을 넣을 수 있다.
판정 불가 조건을 결과를 본 뒤에 적용하면 반드시 편향된다. 내 가설에 불리한 결과가 나왔을 때만 "파싱 실패가 많았으니 무효"를 꺼내 들고, 유리한 결과가 나오면 같은 파싱 실패율을 눈감게 된다. 판정 불가는 실험을 살리는 조건이 아니라 실험을 죽이는 조건이므로, 어느 쪽에 유리한지 모르는 시점에 정해야만 공정하다.
또한 판정 불가를 미리 정의해 두면, 애매한 결과를 억지로 "음성 결과"로 포장하는 것도 막는다. 검정력이 부족했던 실험은 "효과가 없다"가 아니라 "말할 수 없다"로 끝나야 한다. 제대로 설계된 실험에서 나온 진짜 가설 기각이 왜 실패가 아닌지는 16강에서 다룬다.
2010년대 초 심리학에서, 유명 학술지에 실린 초능력(미래 예지) 실험 논문이 큰 논쟁을 일으켰다. 문제는 그 논문이 당시 심리학의 표준적인 분석·보고 관행을 따랐다는 점이었다. 표준 관행을 따랐는데 초능력이 "입증"된다면, 같은 관행으로 만들어진 다른 결과들도 믿을 수 있는가라는 질문이 제기됐다. 이어진 대규모 재현 프로젝트에서 심리학 주요 학술지의 발표된 연구 상당수가 재현에 실패하면서, 결과를 본 뒤의 유연한 분석 선택이 분야 전체의 발견을 부풀려 왔다는 진단이 힘을 얻었다.
이 위기의 대응으로 나온 제도가 **등록 보고서(Registered Report)**다. 학술지가 연구의 질문·설계·분석 계획을 데이터 수집 전에 심사하고, 계획이 타당하면 결과와 무관하게 게재를 원칙적으로 승인한다. 결과가 아니라 설계를 심사하므로, 연구자는 결과를 예쁘게 만들 유인이 사라지고 학술지는 음성 결과를 걸러낼 수 없게 된다. 등록 보고서로 출판된 연구는 일반 논문보다 가설 지지 비율이 눈에 띄게 낮다는 관찰이 보고되어 왔는데, 이는 통상적 출판 과정에서 얼마나 많은 결과 선택이 일어나고 있었는지를 역으로 보여준다.
데이터를 보기 전에, 다음을 문서로 커밋한다.
초성 줄임말 실험이라면 판정 기준 세 갈래는 예를 들어 다음처럼 쓴다.
지지: 문맥 제공 조건의 정확도가 무문맥 조건보다 높다 (대응 검정 , 3개 시드 평균, 주 지표는 4지선다 정확도).
기각: 두 조건의 차이가 유의하지 않거나 방향이 반대다. 단, 아래 판정 불가 조건에 해당하지 않을 때만.
판정 불가: 파싱 실패율이 어느 조건에서든 5%를 넘거나, 전 조건 정확도가 무작위 수준(25%)과 구별되지 않거나, 시드 간 표준편차가 조건 간 차이를 넘는 경우.
이렇게 써 두면 결과가 어떻게 나오든 결론 문장은 이미 정해져 있고, 결과를 본 뒤의 판단은 "어느 갈래에 해당하는가"라는 기계적 대조만 남는다. 수치(5%, 25%)는 예시일 뿐이며, 중요한 것은 구체적 숫자를 결과를 보기 전에 적었다는 사실이다.
이 연구실 구조에서는 이 내용이 01_QUESTION.md와 conf/(arm 정의, 지표, 시드)에 나뉘어 들어가고, 커밋 해시가 타임스탬프 역할을 한다. test set을 여는 것은 evaluate 단계 한 번뿐이므로(6강), "커밋된 계획 → 단 한 번의 test 개봉"이라는 순서 자체가 사전 등록을 구조적으로 강제한다.
사전 등록은 계획 변경을 금지하지 않는다. 몰래 바꾸는 것을 금지한다. 실험 도중 계획의 결함을 발견하면:
계획대로 못 한 연구는 흔하고 정직하게 보고하면 문제가 없다. 문제가 되는 것은 벗어났다는 사실을 숨기고 처음부터 그럴 계획이었던 것처럼 쓰는 경우뿐이다.
주의: 사전 등록은 부정을 저지르려는 사람을 막는 장치가 아니다. 정직하게 연구하려는 사람이 자기 자신의 편향으로부터 결론을 지키는 장치다.