실험을 돌렸는데 가설이 기각됐다면, 그 연구는 실패한 것인가. 이 문서는 "아니다"라는 답이 왜 성립하는지, 그리고 음성 결과를 어떻게 다뤄야 연구 자산이 되는지를 다룬다.
**음성 결과(negative result)**는 사전에 세운 가설이 지지되지 않은 결과를 말한다. 통계 언어로는 대개 "귀무가설을 기각하지 못했다", 즉 기대했던 효과나 차이가 관찰되지 않았다는 뜻이다. 반대로 가설이 지지된 결과를 **양성 결과(positive result)**라 부른다.
여기서 첫 번째 구분이 중요하다. 음성 결과는 실험이 망가진 것과 다르다.
| 상황 | 성격 | 예시 |
|---|---|---|
| 실험 오류 | 절차의 실패 | 데이터 누수, 채점 스크립트 버그, 프롬프트 오타 |
| 음성 결과 | 절차는 성공, 가설이 틀림 | 제대로 돌린 실험에서 효과가 안 나옴 |
| 판정 불가 | 절차가 답을 낼 수 없음 | 표본이 너무 작아 어느 쪽도 말할 수 없음 |
실험 오류는 고쳐서 다시 돌려야 할 대상이다. 음성 결과는 세계에 대한 정보다. "이 방법은 이 조건에서 효과가 없다"는 것을 알아낸 것이고, 이것은 "효과가 있다"를 알아낸 것과 논리적으로 같은 종류의 지식이다. 판정 불가는 12강에서 다룬 검정력 문제이며, 이 셋을 구별하는 것이 이 강의의 절반이다.
2강에서 "반증할 수 없는 주장은 과학이 아니다"라고 했다. 이 말을 뒤집으면, 좋은 가설은 기각될 수 있어야 하고, 실제로 기각되는 일이 일어나야 정상이라는 뜻이 된다. 모든 실험이 가설을 지지한다면 둘 중 하나다. 그 연구자가 세계를 완벽하게 예측하고 있거나, 기각된 실험이 어딘가에서 조용히 버려지고 있거나. 현실에서는 거의 항상 후자다.
**출판 편향(publication bias)**은 양성 결과가 음성 결과보다 훨씬 잘 출판되는 현상이다. 원인은 단순하다. "효과가 있었다"는 논문이 더 흥미롭게 읽히고, 리뷰어와 편집자도 그쪽을 선호하며, 연구자 스스로도 음성 결과는 투고할 동기가 약하다. 투고조차 되지 않고 서랍에 들어가는 현상을 **서랍 문제(file drawer problem)**라 부른다.
이것이 왜 분야 전체의 문제가 되는지 따라가 보면 이렇다.
즉 음성 결과가 사라지면 개별 논문이 아니라 문헌 전체가 거짓말을 하게 된다. 15강의 p-해킹이 한 논문 안에서 일어나는 왜곡이라면, 출판 편향은 같은 왜곡이 분야 수준에서 일어나는 것이다.
이 문제가 추측이 아님을 보여준 대표적 사건이 심리학 재현성 프로젝트(Reproducibility Project: Psychology)다. 오픈 사이언스 협력단이 주요 심리학 학술지에 출판된 연구 100편을 골라 원 저자들과 협의한 절차로 재현 실험을 수행했는데, 원 논문과 같은 방향의 유의한 결과가 재현된 비율은 절반에 크게 못 미쳤고, 재현된 효과 크기도 원 논문보다 대체로 작았다. 출판된 문헌이 양성 결과 쪽으로 부풀려져 있었다는 것, 다시 말해 그동안 서랍에 들어간 음성 결과들이 문헌의 그림을 왜곡하고 있었다는 것이 대규모로 확인된 것이다. 이 사건은 14강에서 다룬 사전 등록과, 결과와 무관하게 게재를 약속하는 등록 보고서(registered report) 제도가 확산되는 직접적 계기가 됐다.
과학사에서 가장 유명한 음성 결과도 있다. 19세기 말 마이컬슨과 몰리는 빛을 매개한다고 믿어졌던 에테르의 존재를 검출하려는 정밀 실험을 수행했으나 검출에 실패했다. 이 "실패"는 폐기되지 않고 물리학의 전제를 무너뜨리는 증거가 되었고, 상대성 이론으로 이어지는 길을 열었다. 잘 설계된 실험의 음성 결과는 때로 양성 결과보다 큰 발견이 된다.
출판 편향은 논문을 쓰는 사람만이 아니라 읽는 사람의 문제이기도 하다. 3강의 절차로 선행 연구를 조사할 때 다음을 염두에 둔다.
는 "효과가 없다"의 증명이 아니라 "이 데이터로는 효과를 검출하지 못했다"는 뜻이다. 검출하지 못한 것과 없는 것의 구별은 12강의 주제이므로 여기서는 결론만 쓴다. 검정력이 낮은 실험의 음성 결과는 정보가 거의 없다. 예를 들어 문항 30개짜리 4지선다 평가에서 두 프롬프트 조건의 정답률 차이가 유의하지 않았다면, 그것은 차이가 없다는 증거가 아니라 표본이 그 차이를 볼 수 없는 크기였다는 뜻일 가능성이 크다. 음성 결과가 가치를 가지려면 "효과가 있었다면 검출됐을 만한 설계"였다는 근거가 먼저 있어야 한다.
효과가 정말 없거나 무시할 만큼 작다는 주장을 적극적으로 하고 싶다면, 10강의 신뢰구간을 사용해 "효과가 있더라도 이 구간 안"이라고 말하는 방식이 기본이다. 95% 신뢰구간이 사전에 정한 '의미 있는 차이'의 경계 안에 들어오면, 단순히 기각 실패가 아니라 **동등성(equivalence)**에 가까운 주장을 할 수 있다.
기대와 다른 결과가 나오면 파이프라인부터 의심하는 것 자체는 건강한 습관이다. 문제는 비대칭이다. 음성일 때만 코드를 뒤지고 양성일 때는 그대로 받아들이면, 그것은 디버깅이 아니라 원하는 결과가 나올 때까지 고르는 행위가 된다. 15강의 사후 선택이 결과 검증 단계에서 재연되는 것이다. 절차 점검은 결과의 방향과 무관하게 같은 강도로 해야 하며, 이상적으로는 결과를 보기 전에 점검을 끝낸다(14강).
절반만 맞다. 잘 설계되지 않은 실험의 음성 결과는 실제로 보고 가치가 낮다. 그러나 사전 등록된 가설, 충분한 검정력, 깨끗한 절차를 갖춘 음성 결과는 출판 대상이며, 등록 보고서 트랙과 음성 결과 전문 지면이 이를 받는다. LLM 연구에서도 "이 기법은 소문만큼 효과가 없다"류의 반박 연구가 주요 학회에 꾸준히 실린다. 안 되는 것은 음성 결과 일반이 아니라, 음성인지 판정 불가인지 구별할 수 없게 설계된 실험이다.
음성 결과의 보고 가치를 높이는 조건은 양성 결과의 조건과 정확히 같다는 점도 기억할 만하다. 가설이 결과보다 먼저 있었는가(2강, 14강), 측정이 실력을 부풀리거나 깎는 함정을 통제했는가(7강), 검정이 그 차이를 볼 수 있는 크기였는가(12강). 이 조건들이 결과의 방향과 무관하게 요구된다는 사실 자체가, 음성과 양성이 논리적으로 대등한 결과임을 보여준다.
한국어 초성 줄임말을 LLM이 이해하는지 4지선다로 평가하는 실험을 예로 들자. 가설이 "모델 크기가 커지면 초성 줄임말 정답률이 오른다"였는데, 돌려 보니 크기와 정답률 사이에 유의한 관계가 없었다고 하자. 이때 해야 할 일은 다음 순서다.
채점 스크립트, 보기 위치 편향(19강), 데이터 오염(18강) 같은 절차 문제를 점검하되, 체크리스트를 먼저 만들고 결과와 무관하게 전부 수행한다. "음성이니까 한 번 더 돌려 보자"는 금지다. 13강의 다중 시드 결과가 시드 간 일관되게 음성이라면, 우연한 한 번의 실패가 아니라는 강한 근거가 된다.
"유의하지 않았다"로 끝내지 않고, 효과 크기와 95% 신뢰구간을 함께 보고한다(10강). 같은 기각 실패라도 담긴 정보량은 전혀 다르다.
| 보고 문장 | 담긴 정보 |
|---|---|
| "차이는 유의하지 않았다 ()" | 검출 실패라는 사실뿐 |
| "정답률 차이의 95% CI는 사전에 정한 최소 관심 효과(5%p)를 포함하지 않는 좁은 구간이었다" | 의미 있는 크기의 효과가 없을 가능성이 높다는 적극적 주장 |
| "95% CI가 −10%p에서 +12%p로 넓었다" | 이 실험은 판정 불가이며 표본 확대가 필요하다는 진단 |
두 번째 문장을 쓸 수 있으면 음성 결과, 세 번째 문장밖에 쓸 수 없으면 판정 불가다. 어느 쪽인지 스스로 분류해 명시하는 것까지가 보고의 일부다.
음성 결과가 나왔을 때의 분기를 한 줄로 정리하면 다음과 같다.
절차가 깨끗하고 검정력이 충분했다면 → 보고 가치가 있는 음성 결과.
절차가 깨끗하지만 검정력이 부족했다면 → 판정 불가. 표본을 키워 재설계.
절차에 오류가 있었다면 → 음성 결과가 아님. 고치고 다시 실행.
가설이 기각된 연구가 실패하는 경우는 하나뿐이다. 기각됐다는 사실을 숨기거나, 기각을 뒤집을 때까지 실험을 고르는 경우다. 전자는 서랍 문제를, 후자는 15강의 p-해킹을 개인 수준에서 재생산한다. 반대로 깨끗한 음성 결과를 그대로 보고하는 것은, 그 자체로 2강에서 정의한 과학의 조건, 즉 반증 가능한 주장을 실제로 반증에 노출시키는 행위를 완수한 것이다.
마지막으로, 음성 결과가 살아남는지는 개인의 결심보다 연구실의 구조에 달려 있다는 점을 적어 둔다.
음성 결과의 가치는 결국 이 한 문장으로 요약된다. 실험의 성공 기준은 가설이 맞는 것이 아니라, 가설의 참 거짓을 믿을 수 있게 판정하는 것이다. 판정이 깨끗했다면 그 실험은 성공했다. 답이 "아니오"였을 뿐이다.