이 단원은 결과를 믿을 수 있게 만드는 장치를 다룬다. 같은 실험을 다시 돌렸을 때 같은 결과가 나오게 하는 재현성, 결과를 보기 전에 계획을 고정하는 사전 등록, 여러 번 시도하다 우연을 발견으로 착각하는 p-해킹, 그리고 가설이 기각됐을 때의 가치까지. 연구의 신뢰는 이 단원에서 갈린다.
- 13강부터 16강까지 순서대로 읽는다.
- 2강(가설과 반증 조건)과 9강(p값)을 전제로 한다.
- 14강(사전 등록)은 15강(p-해킹)의 해독제 역할이므로 붙여서 읽는다.
-
- 재현성과 시드
-
- 사전 등록
-
- p-해킹과 다중 비교
-
- 음성 결과의 가치
-
- 재현성과 시드
시드의 뜻, 단일 시드 보고가 위험한 이유, 다중 시드와 결정론을 다룬다.
-
- 사전 등록
결과를 보기 전에 고정해야 하는 것과, "판정 불가"를 미리 정의하는 이유를 다룬다.
-
- p-해킹과 다중 비교
"돌려보고 싶어서" 추가한 실험이 위험한 이유와 사후 선택의 유혹을 다룬다.
-
- 음성 결과의 가치
가설 기각이 연구 실패가 아닌 이유를 다룬다.
- 다중 시드로 실험을 돌리고 시드 간 변동을 보고할 수 있다.
- 실험 전에 가설·지표·기각 조건·판정 불가 조건을 고정할 수 있다.
- 다중 비교 상황을 알아채고 보정하거나 사전 등록으로 방어할 수 있다.
- 기각된 가설을 버리지 않고 음성 결과로 보고할 수 있다.