175강이 누가 답했는지를 다뤘습니다. 이제 그 답이 정확한지를 다룹니다.
174강 문제 5에서 총오차를 나눴는데, 거기서 치우침이라 부른 것의 큰 몫이 측정에서 옵니다. 물음을 어떻게 적었는지, 누가 물었는지, 답하는 사람이 무엇을 신경 썼는지가 답을 바꿉니다.
그리고 175강이 못 고친다고 한 것이 여기서 주제가 됩니다.
| 문제 | 자료에 흔적이 | 가중치로 |
|---|---|---|
| 무응답 | 남습니다 | 일부 고칩니다 |
| 오응답 | 안 남습니다 | 못 고칩니다 |
둘째 줄이 위험한 이유가 여기 있습니다. 잘못된 값이 자료 안에서 정상으로 보입니다.
흔한 이야기 하나를 먼저 깨야 합니다. "측정 오차가 있으면 관계가 약하게 나온다"는 말이 널리 쓰이는데, 오차의 구조에 따라 반대로 나옵니다. 문제 2에서 기울기가 참값의 배로 커지는 예를 만듭니다.
문제. 참 기울기가 인 관계를 잽니다.
(1) 에 오차를 넣어 가며 기울기를 구하세요.
(2) 에 오차가 있을 때와 비교하세요.
생각의 실마리. 측정 오차는 잡음이므로 관계를 흐릴 것입니다. 그런데 흐린다는 것이 무엇을 뜻하는지가 와 에서 다릅니다.
풀이. (1) 참값의 분산이 이고 오차의 분산이 입니다.
| 오차의 표준편차 | 신뢰도 | 잰 기울기 | 신뢰도 | R^ |
|---|---|---|---|---|
기울기가 참값에 신뢰도를 곱한 값으로 줄어듭니다. 이것을 감쇠라 합니다.
신뢰도가 참값의 분산이 전체 분산에서 차지하는 몫입니다. 오차의 표준편차가 참값과 같으면 신뢰도가 라 기울기가 절반이 됩니다.
(2) 에 오차가 있으면 다릅니다.
| 어디에 오차가 있는가 | 잰 기울기 | 참값 대비 | R^ |
|---|---|---|---|
| 없음 | |||
| 에만 (sd ) | |||
| 에만 (sd ) | |||
| 둘 다 |
의 오차는 기울기를 안 바꿉니다. 흩어짐만 늘어 가 에서 로 떨어집니다.
의 오차만 기울기를 줄입니다. 회귀가 를 조건으로 두고 의 평균을 맞히는 것이라, 쪽 잡음은 평균에서 상쇄되고 쪽 잡음은 조건 자체를 흐리기 때문입니다.
이 문제에서 배우는 것. 어디를 잘못 쟀는지가 무엇이 틀리는지를 정합니다. 결과를 잘못 재면 관계의 세기만 흐려지고 크기는 남는데, 설명변수를 잘못 재면 크기 자체가 틀립니다. 그래서 설문에서 소득이나 근무시간처럼 회상에 기대는 변수를 설명변수로 쓸 때 특히 조심해야 하며, 가 낮은 것보다 계수가 작게 나오는 것이 더 큰 문제입니다.
바로 확인 1.
확인 1-1. 신뢰도를 식으로 쓰세요.
답. 참값의 분산을 참값과 오차의 분산의 합으로 나눈 값입니다.
확인 1-2. 검산에서 오차의 표준편차가 일 때 잰 기울기를 쓰세요.
답. 이며 참값 에 신뢰도 를 곱한 값입니다.
확인 1-3. 와 의 오차가 다른 점을 쓰세요.
답. 의 오차는 기울기를 줄이고 의 오차는 만 낮춥니다.
문제. 감쇠가 일어나지 않는 경우를 만듭니다.
(1) 세 가지 오차 구조를 비교하세요.
(2) 변수가 여럿일 때를 확인하세요.
생각의 실마리. 문제 1의 감쇠는 오차가 참값과 무관하다는 가정에서 나왔습니다. 그 가정이 깨지면 어떻게 되는지 봅니다.
풀이. (1) 세 구조를 견줍니다. 참 기울기는 모두 입니다.
| 오차 구조 | 관계 | 잰 기울기 | 참값 대비 |
|---|---|---|---|
| 고전적 오차 | 관측 참값 잡음 | ||
| 버크슨 오차 | 참값 관측 잡음 | ||
| 눈금이 어긋난 저울 | 관측 참값 잡음 |
고전적 오차만 기울기를 줄입니다. 신뢰도 를 곱한 값입니다.
버크슨 오차는 기울기를 안 바꿉니다. 처방된 용량을 기록하고 실제 섭취가 그 둘레에 흔들리는 경우가 이것입니다. 관측값이 먼저 정해지고 참값이 흩어지므로, 를 조건으로 둔 의 평균은 그대로입니다.
둘의 차이는 화살표의 방향뿐인데 결과가 정반대입니다.
눈금이 어긋나면 기울기가 참값보다 배로 오히려 커집니다. 단위가 절반으로 적히면 한 단위당 변화가 두 배로 보이기 때문입니다.
"측정 오차가 있으면 기울기가 준다"는 말은 고전적 오차에서만 맞습니다.
(2) 변수가 여럿이면 더 나빠집니다. 두 설명변수의 상관이 이고 참 계수는 둘 다 입니다.
| 어디에 오차가 있는가 | 첫째 계수 | 둘째 계수 |
|---|---|---|
| 없음 | ||
| 첫째에만 (sd ) |
첫째 계수만 줄어드는 것이 아니라 둘째 계수가 오히려 으로 커집니다.
오차 때문에 못 담은 몫이 상관된 변수로 흘러가기 때문입니다. 오차 없이 잰 변수가 그 몫까지 떠안습니다.
그래서 감쇠라는 말이 변수가 하나일 때만 맞습니다. 여럿이면 어느 계수가 어느 방향으로 틀리는지 미리 알 수 없습니다.
이 문제에서 배우는 것. "측정 오차 때문에 실제 효과는 더 클 것"이라는 흔한 변명이 대개 근거가 없습니다. 그 말이 성립하려면 오차가 고전적이고 변수가 하나여야 하는데, 실제 분석은 둘 다 아닌 경우가 많습니다. 통제변수를 잘못 재면 관심 변수의 계수가 오히려 부풀 수 있으며, 166강 문제 4의 교란을 통제한다고 넣은 변수가 잘못 재어져 통제가 안 되는 것이 흔한 사례입니다.
바로 확인 2.
확인 2-1. 고전적 오차와 버크슨 오차의 차이를 식으로 쓰세요.
답. 와 이며 화살표의 방향이 반대입니다.
확인 2-2. 검산에서 기울기가 커진 경우와 그 배수를 쓰세요.
답. 눈금이 어긋난 저울이며 참값의 배입니다.
확인 2-3. 변수가 둘일 때 오차 없는 변수의 계수가 어떻게 되는지 쓰세요.
답. 검산에서 에서 로 커졌으며 못 담은 몫이 흘러갔기 때문입니다.
문제. 응답 편향을 봅니다.
(1) 종류를 정리하세요.
(2) 묵인을 역문항으로 상쇄해 보세요.
(3) 보기의 범위가 다를 때를 비교하세요.
생각의 실마리. 사람은 저울이 아닙니다. 물음을 읽고, 무슨 뜻인지 짐작하고, 어떻게 보일지 생각하고, 보기 중에서 고릅니다. 각 단계마다 답이 참값에서 멀어질 수 있습니다.
풀이. (1) 종류를 정리합니다.
| 응답 편향 | 무엇인가 |
|---|---|
| 사회적 바람직성 | 좋게 보이는 쪽으로 답합니다 |
| 묵인 | 내용과 무관하게 동의 쪽으로 답합니다 |
| 극단 회피 | 가운데 보기를 고릅니다 |
| 기준점 | 먼저 본 수에 답이 끌려갑니다 |
| 순서 효과 | 앞 문항이 뒤 문항을 바꿉니다 |
| 회상 오차 | 지난 일을 잘못 기억합니다 |
(2) 묵인은 역문항을 섞으면 상쇄됩니다. 다섯 문항으로 한 개념을 재고, 묵인 성향이 평균 있습니다.
| 문항 구성 | 점수의 평균 | 참값과의 차이 | 참값과의 상관 |
|---|---|---|---|
| 모두 정방향 | |||
| 정방향 역방향 |
역문항을 섞으면 묵인의 몫이 에서 으로 줄어듭니다.
완전히 사라지지는 않습니다. 정방향과 역방향의 수가 같아야 상쇄됩니다.
상관도 함께 올랐습니다. 에서 가 되며, 묵인이 만든 잡음이 줄었기 때문입니다.
(3) 보기의 범위가 다르면 답을 그대로 견줄 수 없습니다. 같은 사람들에게 두 척도로 물었고 속마음은 같습니다.
| 보기의 범위 | 답의 중앙값 | 자기 척도에서의 위치 | 참값과의 상관 |
|---|---|---|---|
| 에서 까지 | |||
| 에서 까지 |
답의 중앙값은 만큼 차이 나는데 척도 안의 위치는 밖에 차이가 없습니다.
두 조사의 답을 그대로 견주면 없는 차이를 만듭니다. 척도가 다르면 위치로 봐야 합니다.
이 문제에서 배우는 것. 응답 편향의 대부분은 설계 단계에서 줄일 수 있습니다. 역문항을 섞고, 척도를 통일하고, 민감한 물음은 자기 기입으로 받는 것이 전부 사전 대책입니다. 그런데 자료를 받은 뒤에는 거의 할 수 있는 일이 없습니다. 172강에서 축과 인코딩은 고칠 수 있고 빠진 자료는 못 고친다고 했는데, 응답 편향은 뒤쪽에 가깝습니다.
바로 확인 3.
확인 3-1. 묵인이 무엇인지 쓰세요.
답. 내용과 무관하게 동의 쪽으로 답하는 경향입니다.
확인 3-2. 검산에서 역문항을 섞었을 때 묵인의 몫을 쓰세요.
답. 에서 으로 줄었고 수가 같아야 완전히 상쇄됩니다.
확인 3-3. 척도가 다른 두 조사를 견주는 법을 쓰세요.
답. 답의 값이 아니라 각 척도 안의 위치로 견줍니다.
문제. 두 문제를 갈라 봅니다.
(1) 같은 크기의 치우침을 두 방식으로 만들고 보정해 보세요.
(2) 오응답을 알아채는 방법을 정리하세요.
생각의 실마리. 175강에서 가중치가 무응답을 일부 고친다고 했습니다. 잘못 답한 것도 고칠 수 있는지 봅니다.
풀이. (1) 참 평균이 이고 가 인 집단이 만큼 높습니다.
| 무슨 일이 있었는가 | 관측 평균 | 치우침 | 로 보정한 뒤 |
|---|---|---|---|
| 가 인 사람이 덜 답함 | |||
| 가 인 사람이 낮게 답함 | 보정할 수 없음 |
두 치우침의 크기가 비슷한데 앞쪽만 고쳐집니다.
무응답은 누가 빠졌는지가 자료에 남아 있습니다. 응답한 사람들의 분포를 인구와 견주면 누가 덜 왔는지 보이고, 175강의 가중치가 그것을 씁니다.
오응답은 잘못된 값이 정상으로 보입니다. 의 분포도 맞고, 응답률도 맞고, 값의 분포도 그럴듯합니다. 자료 안에 어떤 흔적도 없습니다.
(2) 그래서 알아채는 방법이 전부 자료 밖에 있습니다.
| 방법 | 무엇을 하는가 |
|---|---|
| 재측정 | 일부를 다시 물어 두 답을 견줍니다 |
| 기록 대조 | 행정 자료와 맞춰 봅니다 |
| 내적 일관성 | 같은 개념의 문항끼리 맞는지 봅니다 |
| 논리 검사 | 모순되는 답을 찾습니다 |
| 응답 시간 | 너무 빨리 답한 것을 표시합니다 |
전부 추가 자료가 필요합니다. 셋째와 넷째 줄만 자료 안에서 되는데, 일관되게 잘못 답한 사람은 그것도 통과합니다.
이 문제에서 배우는 것. 자료의 품질 문제는 두 종류이고 대책이 다릅니다. 빠진 것은 세어지므로 보정할 여지가 있고, 틀린 것은 세어지지 않으므로 애초에 안 틀리게 하는 것 말고 방법이 없습니다. 172강 문제 5에서 "고칠 수 있는 것과 알 수 없는 것"을 갈랐는데, 오응답은 알 수 없는 쪽입니다. 그리고 이것이 응답률만 보고 조사 품질을 판단하면 안 되는 이유입니다. 응답률 퍼센트인데 답이 전부 성의 없는 조사가, 응답률 퍼센트인데 정성껏 답한 조사보다 나쁠 수 있습니다.
바로 확인 4.
확인 4-1. 무응답과 오응답의 결정적 차이를 쓰세요.
답. 무응답은 자료에 흔적이 남고 오응답은 정상으로 보입니다.
확인 4-2. 검산에서 두 치우침과 보정 결과를 쓰세요.
답. 과 인데 앞쪽만 로 고쳐집니다.
확인 4-3. 오응답을 알아채는 방법의 공통점을 쓰세요.
답. 대부분 자료 밖의 추가 자료가 필요합니다.
문제. 측정 오차를 다룹니다.
(1) 반복 측정이 신뢰도를 얼마나 올리는지 구하세요.
(2) 감쇠를 되돌려 보세요.
(3) 줄이는 방법과 되돌리는 방법을 비교하세요.
생각의 실마리. 오차가 무작위라면 여러 번 재서 평균 내면 줄어듭니다. 174강 문제 1의 이 여기서도 작동할 것입니다.
풀이. (1) 번 재서 평균 내면 오차의 분산이 분의 이 됩니다.
| 한 번의 신뢰도 | ||||
|---|---|---|---|---|
신뢰도 인 측정도 열 번 재면 이 됩니다.
수치로도 확인합니다. 참 기울기는 입니다.
| 몇 번 재는가 | 신뢰도 이론 | 잰 기울기 | 신뢰도 |
|---|---|---|---|
이것이 여러 문항으로 한 개념을 재는 이유입니다. 문항 하나하나는 부정확해도 여럿을 합치면 쓸 만해집니다.
(2) 신뢰도를 알면 감쇠를 되돌릴 수 있습니다.
잰 기울기가 이고 신뢰도 로 나누면 이 됩니다.
그런데 신뢰도도 추정값이라 그 오차가 그대로 증폭됩니다.
| 신뢰도를 얼마로 보는가 | 되돌린 기울기 | 참값과의 차이 |
|---|---|---|
신뢰도를 만큼 잘못 보면 기울기가 넘게 어긋납니다.
되돌리기는 신뢰도를 따로 잘 추정했을 때만 씁니다. 재측정 표본 같은 별도의 자료가 있어야 하며, 어림으로 넣으면 안 하느니만 못합니다.
(3) 줄이는 쪽이 되돌리는 쪽보다 낫습니다.
| 무엇을 하는가 | 무엇이 줄어드는가 |
|---|---|
| 문항을 다듬기 | 물음이 만든 오차 |
| 여러 번 재기 | 무작위 오차 |
| 면접원 교육 | 면접원마다의 차이 |
| 자기 기입 | 사회적 바람직성 |
| 행정 자료 연계 | 회상 오차 |
둘째 줄만 무작위 오차를 다루고 나머지는 치우침을 다룹니다. 그리고 되돌리기는 무작위 오차에만 씁니다. 치우친 측정은 여러 번 재도 같은 방향으로 틀리므로 반복이 도움이 안 됩니다.
이 문제에서 배우는 것. 174강 문제 5의 결론이 여기서 구체화됩니다. 표본을 늘리는 대신 쓸 돈이 문항을 다듬고 면접원을 교육하고 행정 자료를 잇는 데 들어갑니다. 그리고 그 효과가 계산됩니다. 신뢰도를 에서 로 올리면 기울기의 감쇠가 절반에서 퍼센트로 회복되는데, 표본을 몇 배로 늘려도 감쇠는 그대로입니다. 크기로 살 수 없는 것을 품질로 삽니다.
바로 확인 5.
확인 5-1. 반복 측정의 신뢰도 공식을 쓰세요.
답. 입니다.
확인 5-2. 검산에서 신뢰도 을 열 번 재면 얼마가 되는지 쓰세요.
답. 입니다.
확인 5-3. 감쇠 보정이 위험한 이유를 검산 값과 함께 쓰세요.
답. 신뢰도를 잘못 보면 기울기가 넘게 어긋나기 때문입니다.
| 오차 구조 | 관계 | 기울기에 |
|---|---|---|
| 고전적 | 관측 참값 잡음 | 신뢰도를 곱합니다 |
| 버크슨 | 참값 관측 잡음 | 영향이 없습니다 |
| 눈금 어긋남 | 관측 참값 | 쪽으로 바뀝니다 |
| 에만 | 결과에 잡음 | 영향이 없고 만 낮춥니다 |
| 여러 변수 | 하나에만 오차 | 방향을 알 수 없습니다 |
| 응답 편향 | 대책 |
|---|---|
| 사회적 바람직성 | 자기 기입, 익명 |
| 묵인 | 역문항을 같은 수로 섞기 |
| 극단 회피 | 보기 수를 짝수로 |
| 기준점 | 보기 범위를 통일 |
| 순서 효과 | 문항 순서를 무작위로 |
| 회상 오차 | 기간을 짧게, 기록 대조 |
| 자주 하는 실수 | 바로잡기 |
|---|---|
| 측정 오차는 언제나 감쇠라고 봅니다 | 고전적 오차에서만 맞습니다 |
| 오차가 있으니 실제 효과는 더 크다고 봅니다 | 커질 수도 작아질 수도 있습니다 |
| 통제변수의 오차를 무시합니다 | 관심 계수가 부풀 수 있습니다 |
| 척도가 다른 조사를 그대로 견줍니다 | 위치로 견줍니다 |
| 무응답과 오응답을 같이 봅니다 | 뒤쪽은 못 고칩니다 |
| 응답률만으로 품질을 판단합니다 | 답의 정확도는 따로입니다 |
| 어림한 신뢰도로 감쇠를 되돌립니다 | 안 하느니만 못할 수 있습니다 |
문제 6. 신뢰도를 식으로 쓰세요.
답. 참값의 분산을 참값과 오차의 분산의 합으로 나눈 값입니다.
문제 7. 검산에서 오차의 표준편차가 일 때 잰 기울기를 쓰세요.
답. 이며 참값 에 신뢰도 를 곱한 값입니다.
문제 8. 와 의 오차가 다른 점을 쓰세요.
답. 의 오차는 기울기를 줄이고 의 오차는 만 낮춥니다.
문제 9. 고전적 오차와 버크슨 오차를 식으로 구분하세요.
답. 와 입니다.
문제 10. 검산에서 기울기가 커진 경우와 배수를 쓰세요.
답. 눈금이 어긋난 저울이며 참값의 배입니다.
문제 11. 검산에서 첫째 변수에만 오차가 있을 때 두 계수를 쓰세요.
답. 과 로 둘째가 오히려 커집니다.
문제 12. 묵인이 무엇이고 어떻게 상쇄하는지 쓰세요.
답. 내용과 무관하게 동의하는 경향이며 역문항을 같은 수로 섞습니다.
문제 13. 검산에서 역문항을 섞었을 때 묵인의 몫을 쓰세요.
답. 에서 으로 줄었습니다.
문제 14. 척도가 다른 두 조사를 견주는 법을 검산 값과 함께 쓰세요.
답. 답의 값은 차이 나지만 척도 안 위치는 뿐이므로 위치로 견줍니다.
문제 15. 무응답과 오응답의 결정적 차이를 쓰세요.
답. 무응답은 자료에 흔적이 남고 오응답은 정상으로 보입니다.
문제 16. 반복 측정의 신뢰도 공식을 쓰세요.
답. 입니다.
문제 17. 검산에서 신뢰도 을 열 번 재면 얼마가 되는지 쓰세요.
답. 입니다.
문제 18. 감쇠 보정이 위험한 이유를 쓰세요.
답. 신뢰도를 잘못 보면 기울기가 넘게 어긋나기 때문입니다.
심화 1. 도구변수로 측정 오차를 다루는 법을 정리하세요.
문제 5의 되돌리기는 신뢰도를 알아야 했습니다. 모를 때 쓰는 방법이 있습니다.
같은 것을 두 번 잰 값 중 하나를 도구로 씁니다.
두 측정의 오차가 서로 무관하면 분모에서 오차가 사라집니다. 분자에서도 오차가 와 무관해 사라지므로, 감쇠 없는 추정이 나옵니다.
| 조건 | 왜 필요한가 |
|---|---|
| 두 오차가 서로 무관 | 분모에서 상쇄되어야 합니다 |
| 도구가 에 직접 영향 없음 | 분자가 참 관계만 담아야 합니다 |
| 도구가 참값과 강하게 이어짐 | 분모가 에 가까우면 폭발합니다 |
셋째 줄이 실무의 문제입니다. 약한 도구를 쓰면 추정량의 분산이 커지고 작은 표본에서 크게 치우칩니다.
첫째 줄도 자주 깨집니다. 같은 사람에게 두 번 물으면 같은 방향으로 잘못 기억하므로 오차가 상관됩니다. 그래서 다른 방식으로 잰 값을 쓰는 편이 낫습니다.
심화 2. 잠재변수 모형을 정리하세요.
문제 5에서 여러 문항으로 한 개념을 쟀습니다. 그 구조를 모형으로 씁니다.
관측되지 않는 가 참 개념이고 문항들이 그것의 흐린 그림자입니다.
| 얻는 것 | 내용 |
|---|---|
| 감쇠 보정 | 참값의 분산을 따로 추정합니다 |
| 문항의 품질 | 가 큰 문항이 좋습니다 |
| 차원 확인 | 한 개념인지 여럿인지 봅니다 |
셋째 줄이 중요합니다. 다섯 문항이 한 개념을 잰다고 믿고 평균을 냈는데 사실 두 개념이면, 그 평균은 아무것도 재지 않습니다. 171강 문제 3의 주성분과 같은 도구로 확인합니다.
모형이 맞는지는 자료로 완전히 확인되지 않습니다. 오차끼리 상관이 없다는 가정이 핵심인데, 같은 문항 형식에서 나온 상관은 그 가정을 깹니다. 역문항이 따로 뭉치는 현상이 대표적입니다.
심화 3. 민감한 물음을 다루는 법을 정리하세요.
사회적 바람직성이 가장 큰 자리가 민감한 물음입니다.
| 방법 | 어떻게 하는가 |
|---|---|
| 무작위 응답 | 동전을 던져 물음을 고르게 합니다 |
| 목록 실험 | 항목 개수만 세게 합니다 |
| 봉인 응답 | 답을 면접원이 못 보게 합니다 |
| 자기 기입 | 기계에 직접 입력합니다 |
첫째 줄이 원리가 재미있습니다. 응답자가 동전을 던져 앞면이면 민감한 물음에, 뒷면이면 "동전이 앞면인가"에 답합니다. 개인의 답은 알 수 없는데 전체 비율은 계산됩니다.
대가는 분산입니다. 절반이 잡음이므로 같은 정확도에 표본이 훨씬 많이 필요합니다. 174강 문제 5의 맞바꿈이 여기서도 나오며, 치우침을 줄이고 분산을 삽니다.
셋째와 넷째 줄이 실무에서 가장 효과가 큽니다. 특별한 계산 없이 누가 보는지만 바꿔도 답이 달라집니다.
심화 4. 면접원 효과를 정리하세요.
같은 물음도 누가 묻느냐에 따라 답이 달라집니다.
| 원인 | 내용 |
|---|---|
| 읽는 방식 | 강조와 속도가 다릅니다 |
| 되묻기 | 추가 설명이 사람마다 다릅니다 |
| 겉모습 | 응답자가 상대를 보고 답을 고릅니다 |
| 기록 | 열린 답을 적는 방식이 다릅니다 |
이것이 173강 문제 3의 군집추출과 같은 구조를 만듭니다. 한 면접원이 맡은 사람들끼리 답이 닮아 급내상관이 생기고, 설계효과가 곱해집니다.
**면접원 한 명이 명을 맡고 가 이면 설계효과가 **입니다. 유효 표본이 절반입니다.
대책은 면접원당 인원을 줄이고 배정을 무작위로 하는 것입니다. 173강에서 "뭉치를 많이, 뭉치당 적게"라고 한 원칙이 그대로 적용됩니다.
무작위 배정이 중요한 또 다른 이유가 있습니다. 면접원마다 맡은 지역이 다르면 면접원 효과와 지역 효과를 가를 수 없습니다.
심화 5. 측정을 검증하는 법을 정리하세요.
측정이 재려던 것을 재고 있는지 확인하는 방법들입니다.
| 무엇을 보는가 | 이름 |
|---|---|
| 같은 것을 두 번 재면 같은가 | 재검사 신뢰도 |
| 문항들이 서로 맞는가 | 내적 일관성 |
| 관련 있어야 할 것과 관련 있는가 | 수렴 타당도 |
| 무관해야 할 것과 무관한가 | 판별 타당도 |
| 미래를 맞히는가 | 예측 타당도 |
둘째 줄이 가장 쉬워서 가장 많이 쓰이는데, 그것만으로는 부족합니다. 문항들이 서로 잘 맞아도 다 함께 엉뚱한 것을 재고 있을 수 있습니다.
넷째 줄이 자주 빠집니다. 새 척도가 기존 척도와 상관이 높다고 보고하는데, 너무 높으면 새것이 필요 없다는 뜻입니다. 관련은 있되 같지 않아야 합니다.
다섯째 줄이 실무에서 가장 강합니다. 재려는 것이 결국 무언가를 예측하기 위한 것이라면, 예측이 되는지 보는 것이 직접적인 검증입니다.
심화 6. 이 강의가 어디에 쓰이는지 정리하세요.
| 분야 | 쓰임 | 이어지는 강의 |
|---|---|---|
| 관측 자료 | 기록의 오차와 누락 | 177강 |
| 회귀 | 설명변수의 오차와 감쇠 | S8 |
| 라벨 품질 | 잘못 붙은 정답 | S9 |
| 평가 | 지표가 목표를 재는가 | S9 |
셋째 줄이 기계학습에서 매일 나옵니다. 사람이 붙인 라벨에 오차가 있으면 문제 1의 구조가 그대로 적용되며, 라벨 오차율이 퍼센트면 도달 가능한 정확도의 상한도 그만큼 내려갑니다.
넷째 줄이 심화 5와 이어집니다. 모형의 성능 지표가 실제로 원하는 것을 재고 있는지가 타당도의 문제이며, 정확도가 올랐는데 서비스가 나빠지는 경우가 정확히 그 자리입니다.
정답.
| 기호 | 읽는 법 | 뜻 |
|---|---|---|
| X^ | 엑스 스타 | 오차가 섞인 관측값입니다 |
| 신뢰도 | reliability | 참값의 분산이 차지하는 몫입니다 |
| 감쇠 | attenuation | 오차 때문에 기울기가 줄어듭니다 |
| 고전적 측정 오차 | classical measurement error | 관측이 참값에 잡음을 더한 것입니다 |
| 버크슨 오차 | Berkson error | 참값이 관측 둘레에 흩어집니다 |
| 사회적 바람직성 | social desirability | 좋게 보이는 쪽으로 답합니다 |
| 묵인 | acquiescence | 내용과 무관하게 동의합니다 |
| 역문항 | reverse-coded item | 뜻을 뒤집어 적은 문항입니다 |
| 기준점 효과 | anchoring | 먼저 본 수에 답이 끌립니다 |
| 스피어만-브라운 | Spearman-Brown | 반복 측정의 신뢰도 공식입니다 |
| 감쇠 보정 | disattenuation | 신뢰도로 나눠 되돌립니다 |
| 도구변수 | instrumental variable | 오차 없이 참값과 이어진 변수입니다 |
| 잠재변수 | latent variable | 직접 못 재는 참 개념입니다 |
| 무작위 응답 | randomized response | 확률로 물음을 섞어 익명을 지킵니다 |
| 면접원 효과 | interviewer effect | 누가 묻느냐로 답이 달라집니다 |
다음은 177강 관측 데이터의 함정입니다. 여기까지가 자료를 만드는 쪽이었고, 다음은 아무도 만들지 않은 자료를 다룹니다.
173강부터 176강까지는 조사를 전제로 했습니다. 표집틀이 있고, 확률로 뽑고, 물어서 답을 받습니다. 그런데 로그와 기록과 거래 내역은 아무도 뽑지 않았습니다.
그러면 이 단원의 도구가 전부 쓸 수 없게 됩니다. 뽑힐 확률이 없으니 가중치를 만들 수 없고, 표집틀이 없으니 누가 빠졌는지 셀 수 없으며, 173강 문제 1의 상관이 얼마인지 알 방법이 없습니다. 177강은 그런 자료로 무엇을 물으면 안 되는지를 다루며, 그것으로 S7 전체를 맺습니다.
import numpy as np
rng = np.random.default_rng(20260913)
def pw(s, n):
k = n - sum(2 if ord(c) > 0x2FFF else 1 for c in str(s))
return str(s) + " " * max(k, 0)
def rw(s, n):
k = n - sum(2 if ord(c) > 0x2FFF else 1 for c in str(s))
return " " * max(k, 0) + str(s)
def slope(x, y):
x = np.asarray(x, float)
y = np.asarray(y, float)
return float(((x - x.mean()) * (y - y.mean())).mean() / ((x - x.mean()) ** 2).mean())
# --- 문제 1: 재는 데 오차가 있으면 -------------------------------------
print(" 관측값은 참값에 오차를 더한 것입니다")
N1 = 400000
Xt = rng.normal(0, 1, N1)
Y = 2.0 * Xt + rng.normal(0, 1, N1)
print(" 참 기울기는 2 입니다. x 를 재는 데 오차를 넣어 봅니다")
print(" %s %s %s %s %s" % (pw("오차의 표준편차", 16), rw("신뢰도", 12),
rw("잰 기울기", 12), rw("2 x 신뢰도", 14),
rw("R^2", 10)))
for se in [0.0, 0.5, 1.0, 2.0]:
Xo = Xt + rng.normal(0, se, N1)
rel = 1.0 / (1.0 + se ** 2)
b = slope(Xo, Y)
r2 = float(np.corrcoef(Xo, Y)[0, 1] ** 2)
print(" %s %12.6f %12.6f %14.6f %10.6f"
% (pw("%.1f" % se, 16), rel, b, 2.0 * rel, r2))
print(" 기울기가 참값에 신뢰도를 곱한 값으로 줄어듭니다. 이것을 감쇠라 합니다")
print(" 신뢰도 = 참값의 분산 / (참값의 분산 + 오차의 분산) 입니다")
print(" y 를 재는 데 오차가 있으면 이야기가 다릅니다")
print(" %s %s %s %s" % (pw("어디에 오차가 있는가", 22), rw("잰 기울기", 12),
rw("참값 대비", 12), rw("R^2", 10)))
for nm, xo, yo in [("없음", Xt, Y),
("x 에만 (sd 1)", Xt + rng.normal(0, 1, N1), Y),
("y 에만 (sd 2)", Xt, Y + rng.normal(0, 2, N1)),
("둘 다", Xt + rng.normal(0, 1, N1), Y + rng.normal(0, 2, N1))]:
b = slope(xo, yo)
print(" %s %12.6f %12.6f %10.6f"
% (pw(nm, 22), b, b / 2.0, float(np.corrcoef(xo, yo)[0, 1] ** 2)))
print(" y 의 오차는 기울기를 안 바꿉니다. 흩어짐만 늘어 R^2 가 떨어집니다")
print(" x 의 오차만 기울기를 줄입니다. 어디를 잘못 쟀는지가 중요합니다")
# --- 문제 2: 언제 감쇠가 일어나지 않는가 --------------------------------
print(" 측정 오차가 언제나 기울기를 줄이는 것은 아닙니다")
print(" 오차와 참값의 관계가 무엇이냐가 갈림길입니다")
print(" %s %s %s %s" % (pw("오차 구조", 24), rw("관계", 24),
rw("잰 기울기", 12), rw("참값 2 대비", 14)))
Xs = rng.normal(0, 1, N1)
e2 = rng.normal(0, 1.0, N1)
Xo1 = Xs + e2
Y1 = 2.0 * Xs + rng.normal(0, 1, N1)
b_cl = slope(Xo1, Y1)
print(" %s %s %12.6f %14.4f"
% (pw("고전적 오차", 24), rw("관측 = 참값 + 잡음", 24), b_cl, b_cl / 2.0))
Xo2 = rng.normal(0, 1, N1)
Xtrue2 = Xo2 + rng.normal(0, 1.0, N1)
Y2 = 2.0 * Xtrue2 + rng.normal(0, 1, N1)
b_bk = slope(Xo2, Y2)
print(" %s %s %12.6f %14.4f"
% (pw("버크슨 오차", 24), rw("참값 = 관측 + 잡음", 24), b_bk, b_bk / 2.0))
Xo3 = 0.5 * Xs + rng.normal(0, 0.1, N1)
Y3 = 2.0 * Xs + rng.normal(0, 1, N1)
b_sc = slope(Xo3, Y3)
print(" %s %s %12.6f %14.4f"
% (pw("눈금이 어긋난 저울", 24), rw("관측 = 0.5 x 참값 + 잡음", 24), b_sc, b_sc / 2.0))
print(" 고전적 오차만 기울기를 줄입니다. 신뢰도 0.5 를 곱한 값입니다")
print(" 버크슨 오차는 처방된 용량을 적고 실제 섭취가 흔들리는 경우입니다")
print(" 관측값이 먼저 정해지고 참값이 그 둘레에 흩어지므로 기울기가 그대로입니다")
print(" 눈금이 어긋나면 기울기가 참값보다 %.2f 배로 오히려 커집니다" % (b_sc / 2.0))
print(" 단위가 절반으로 적히면 한 단위당 변화가 두 배로 보이기 때문입니다")
print(" 측정 오차가 있으면 기울기가 준다는 말은 고전적 오차에서만 맞습니다")
print(" 변수가 여럿이면 오차 없는 변수의 계수도 오염됩니다")
Z1 = rng.normal(0, 1, N1)
Z2 = 0.7 * Z1 + np.sqrt(1 - 0.49) * rng.normal(0, 1, N1)
Yz = 1.0 * Z1 + 1.0 * Z2 + rng.normal(0, 1, N1)
def two_slope(a, b, y):
A = np.stack([np.ones(len(a)), a, b], axis=1)
return np.linalg.lstsq(A, y, rcond=None)[0][1:]
print(" 두 설명변수의 상관이 0.7 이고 참 계수는 둘 다 1 입니다")
print(" %s %s %s" % (pw("어디에 오차가 있는가", 24), rw("첫째 계수", 14),
rw("둘째 계수", 14)))
for nm, a, b in [("없음", Z1, Z2),
("첫째에만 (sd 1)", Z1 + rng.normal(0, 1, N1), Z2)]:
c = two_slope(a, b, Yz)
print(" %s %14.6f %14.6f" % (pw(nm, 24), c[0], c[1]))
print(" 첫째 계수만 줄어드는 것이 아니라 둘째 계수가 오히려 커집니다")
print(" 오차 때문에 못 담은 몫이 상관된 변수로 흘러가기 때문입니다")
print(" 그래서 감쇠라는 말이 변수가 하나일 때만 맞습니다. 여럿이면 방향을 모릅니다")
# --- 문제 3: 답이 왜 어긋나는가 -----------------------------------------
print(" 물음과 상황이 답을 바꿉니다")
print(" %s %s" % (pw("응답 편향", 20), rw("무엇인가", 34)))
for a, b in [("사회적 바람직성", "좋게 보이는 쪽으로 답합니다"),
("묵인", "내용과 무관하게 동의 쪽으로 답합니다"),
("극단 회피", "가운데 보기를 고릅니다"),
("기준점", "먼저 본 수에 답이 끌려갑니다"),
("순서 효과", "앞 문항이 뒤 문항을 바꿉니다"),
("회상 오차", "지난 일을 잘못 기억합니다")]:
print(" %s %s" % (pw(a, 20), rw(b, 34)))
print(" 묵인은 역문항을 섞으면 상쇄됩니다")
n3 = 200000
tr = rng.normal(0, 1, n3)
acq = rng.normal(0.5, 0.3, n3)
print(" 다섯 문항으로 한 개념을 잽니다. 묵인 성향이 평균 0.5 있습니다")
print(" %s %s %s %s" % (pw("문항 구성", 22), rw("점수의 평균", 14),
rw("참값과의 차이", 16), rw("참값과의 상관", 16)))
fwd = np.stack([tr + acq + rng.normal(0, 0.5, n3) for _ in range(5)], axis=1).mean(1)
mix = np.stack([tr + acq + rng.normal(0, 0.5, n3) for _ in range(3)]
+ [-(-tr + acq + rng.normal(0, 0.5, n3)) for _ in range(2)],
axis=1).mean(1)
for nm, v in [("모두 정방향", fwd), ("정방향 3 역방향 2", mix)]:
print(" %s %14.6f %16.6f %16.6f"
% (pw(nm, 22), float(v.mean()), float(v.mean() - tr.mean()),
float(np.corrcoef(v, tr)[0, 1])))
print(" 역문항을 섞으면 묵인의 몫이 %.4f 에서 %.4f 로 줄어듭니다"
% (float(fwd.mean() - tr.mean()), float(mix.mean() - tr.mean())))
print(" 다만 완전히 사라지지는 않습니다. 정방향과 역방향의 수가 같아야 상쇄됩니다")
print(" 보기의 범위가 다르면 답을 그대로 견줄 수 없습니다")
print(" 같은 사람들에게 두 척도로 물었습니다. 속마음은 같습니다")
print(" %s %s %s %s" % (pw("보기의 범위", 24), rw("답의 중앙값", 14),
rw("자기 척도에서의 위치", 22), rw("참값과의 상관", 16)))
res = []
for lo, hi in [(0.5, 2.5), (2.5, 4.5)]:
mid = (lo + hi) / 2
ans = np.clip(tr * 0.5 + mid + rng.normal(0, 0.3, n3), lo, hi)
pos = (float(np.median(ans)) - lo) / (hi - lo)
print(" %s %14.4f %22.4f %16.4f"
% (pw("%.1f 에서 %.1f 까지" % (lo, hi), 24), float(np.median(ans)), pos,
float(np.corrcoef(ans, tr)[0, 1])))
res.append((float(np.median(ans)), pos))
print(" 답의 중앙값은 %.4f 만큼 차이 나는데 척도 안의 위치는 %.4f 밖에 차이가 없습니다"
% (abs(res[1][0] - res[0][0]), abs(res[1][1] - res[0][1])))
print(" 두 조사의 답을 그대로 견주면 없는 차이를 만듭니다. 척도가 다르면 위치로 봅니다")
# --- 문제 4: 안 답한 것과 잘못 답한 것 ----------------------------------
print(" 무응답과 오응답은 크기가 같아도 성질이 다릅니다")
N4 = 400000
g = (rng.random(N4) < 0.4).astype(float)
y4 = 50.0 + 10.0 * g + rng.normal(0, 5.0, N4)
tm = float(y4.mean())
print(" 참 평균은 %.4f 이고 g 가 1 인 집단이 10 만큼 높습니다" % tm)
print(" %s %s %s %s" % (pw("무슨 일이 있었는가", 24), rw("관측 평균", 14),
rw("치우침", 12), rw("g 로 보정한 뒤", 16)))
R4 = np.where(g > 0.5, rng.random(N4) < 0.3, rng.random(N4) < 0.9)
ys, gs = y4[R4], g[R4]
w = np.where(gs > 0.5, float((g > 0.5).mean()) / max(float((gs > 0.5).mean()), 1e-9),
float((g <= 0.5).mean()) / max(float((gs <= 0.5).mean()), 1e-9))
adj = float((w * ys).sum() / w.sum())
print(" %s %14.4f %12.4f %16.4f"
% (pw("g 가 1 인 사람이 덜 답함", 24), float(ys.mean()), float(ys.mean() - tm), adj))
y4b = np.where(g > 0.5, y4 - 6.0, y4)
print(" %s %14.4f %12.4f %16s"
% (pw("g 가 1 인 사람이 낮게 답함", 24), float(y4b.mean()),
float(y4b.mean() - tm), rw("보정할 수 없음", 16)))
print(" 두 치우침의 크기가 비슷한데 앞쪽만 고쳐집니다")
print(" 무응답은 누가 빠졌는지가 자료에 남아 있어 175강의 가중치가 씁니다")
print(" 오응답은 잘못된 값이 정상으로 보이므로 자료 안에 흔적이 없습니다")
print(" 오응답을 알아채는 방법은 자료 밖에 있습니다")
print(" %s %s" % (pw("방법", 20), rw("무엇을 하는가", 30)))
for a, b in [("재측정", "일부를 다시 물어 두 답을 견줍니다"),
("기록 대조", "행정 자료와 맞춰 봅니다"),
("내적 일관성", "같은 개념의 문항끼리 맞는지 봅니다"),
("논리 검사", "모순되는 답을 찾습니다"),
("응답 시간", "너무 빨리 답한 것을 표시합니다")]:
print(" %s %s" % (pw(a, 20), rw(b, 30)))
print(" 전부 추가 자료가 필요합니다. 답만 보고는 알 수 없습니다")
# --- 문제 5: 오차를 줄이는 법 -------------------------------------------
print(" 같은 것을 여러 번 재면 신뢰도가 오릅니다")
print(" k 번 재서 평균 내면 신뢰도가 k rho / (1 + (k-1) rho) 가 됩니다")
print(" %s %s %s %s %s" % (pw("한 번의 신뢰도", 16), rw("k = 2", 12), rw("k = 4", 12),
rw("k = 10", 12), rw("k = 100", 12)))
for r0 in [0.3, 0.5, 0.7, 0.9]:
row = [k * r0 / (1 + (k - 1) * r0) for k in [2, 4, 10, 100]]
print(" %s %12.6f %12.6f %12.6f %12.6f"
% (pw("%.1f" % r0, 16), row[0], row[1], row[2], row[3]))
print(" 신뢰도 0.3 인 측정도 열 번 재면 0.81 이 됩니다")
print(" 수치로도 확인합니다. 참 기울기는 2 입니다")
print(" %s %s %s %s" % (pw("몇 번 재는가", 14), rw("신뢰도 이론", 14),
rw("잰 기울기", 14), rw("2 x 신뢰도", 14)))
for k in [1, 2, 4, 10]:
reps = np.stack([Xt + rng.normal(0, 1.0, N1) for _ in range(k)], axis=1).mean(1)
r0 = 1.0 / (1.0 + 1.0)
rk = k * r0 / (1 + (k - 1) * r0)
print(" %s %14.6f %14.6f %14.6f"
% (pw(str(k), 14), rk, slope(reps, Y), 2.0 * rk))
print(" 신뢰도를 알면 감쇠를 되돌릴 수 있습니다")
print(" 참 기울기 = 잰 기울기 / 신뢰도 입니다")
Xo9 = Xt + rng.normal(0, 1.0, N1)
b9 = slope(Xo9, Y)
print(" 잰 기울기가 %.6f 이고 신뢰도 0.5 로 나누면 %.6f 이 됩니다" % (b9, b9 / 0.5))
print(" 그런데 신뢰도도 추정값이라 그 오차가 그대로 증폭됩니다")
print(" %s %s %s" % (pw("신뢰도를 얼마로 보는가", 26), rw("되돌린 기울기", 16),
rw("참값과의 차이", 16)))
for rr in [0.40, 0.45, 0.50, 0.55, 0.60]:
print(" %s %16.6f %16.6f"
% (pw("%.2f" % rr, 26), b9 / rr, b9 / rr - 2.0))
print(" 신뢰도를 0.1 만큼 잘못 보면 기울기가 0.4 넘게 어긋납니다")
print(" 되돌리기는 신뢰도를 따로 잘 추정했을 때만 씁니다")
print(" 줄이는 쪽이 되돌리는 쪽보다 낫습니다")
print(" %s %s" % (pw("무엇을 하는가", 22), rw("무엇이 줄어드는가", 28)))
for a, b in [("문항을 다듬기", "물음이 만든 오차"),
("여러 번 재기", "무작위 오차"),
("면접원 교육", "면접원마다의 차이"),
("자기 기입", "사회적 바람직성"),
("행정 자료 연계", "회상 오차")]:
print(" %s %s" % (pw(a, 22), rw(b, 28)))
print(" 174강 문제 5 에서 본 그대로입니다. 표본을 늘리는 것보다 나은 경우가 많습니다")
# 관측값은 참값에 오차를 더한 것입니다
# 참 기울기는 2 입니다. x 를 재는 데 오차를 넣어 봅니다
# 오차의 표준편차 신뢰도 잰 기울기 2 x 신뢰도 R^2
# 0.0 1.000000 2.003206 2.000000 0.800405
# 0.5 0.800000 1.601449 1.600000 0.640244
# 1.0 0.500000 1.003725 1.000000 0.400871
# 2.0 0.200000 0.400445 0.400000 0.160182
# 기울기가 참값에 신뢰도를 곱한 값으로 줄어듭니다. 이것을 감쇠라 합니다
# 신뢰도 = 참값의 분산 / (참값의 분산 + 오차의 분산) 입니다
# y 를 재는 데 오차가 있으면 이야기가 다릅니다
# 어디에 오차가 있는가 잰 기울기 참값 대비 R^2
# 없음 2.003206 1.001603 0.800405
# x 에만 (sd 1) 1.000381 0.500191 0.400419
# y 에만 (sd 2) 2.004396 1.002198 0.446043
# 둘 다 1.004821 0.502410 0.222874
# y 의 오차는 기울기를 안 바꿉니다. 흩어짐만 늘어 R^2 가 떨어집니다
# x 의 오차만 기울기를 줄입니다. 어디를 잘못 쟀는지가 중요합니다
# 측정 오차가 언제나 기울기를 줄이는 것은 아닙니다
# 오차와 참값의 관계가 무엇이냐가 갈림길입니다
# 오차 구조 관계 잰 기울기 참값 2 대비
# 고전적 오차 관측 = 참값 + 잡음 0.999613 0.4998
# 버크슨 오차 참값 = 관측 + 잡음 1.998286 0.9991
# 눈금이 어긋난 저울 관측 = 0.5 x 참값 + 잡음 3.850676 1.9253
# 고전적 오차만 기울기를 줄입니다. 신뢰도 0.5 를 곱한 값입니다
# 버크슨 오차는 처방된 용량을 적고 실제 섭취가 흔들리는 경우입니다
# 관측값이 먼저 정해지고 참값이 그 둘레에 흩어지므로 기울기가 그대로입니다
# 눈금이 어긋나면 기울기가 참값보다 1.93 배로 오히려 커집니다
# 단위가 절반으로 적히면 한 단위당 변화가 두 배로 보이기 때문입니다
# 측정 오차가 있으면 기울기가 준다는 말은 고전적 오차에서만 맞습니다
# 변수가 여럿이면 오차 없는 변수의 계수도 오염됩니다
# 두 설명변수의 상관이 0.7 이고 참 계수는 둘 다 1 입니다
# 어디에 오차가 있는가 첫째 계수 둘째 계수
# 없음 0.998590 0.998135
# 첫째에만 (sd 1) 0.334793 1.462769
# 첫째 계수만 줄어드는 것이 아니라 둘째 계수가 오히려 커집니다
# 오차 때문에 못 담은 몫이 상관된 변수로 흘러가기 때문입니다
# 그래서 감쇠라는 말이 변수가 하나일 때만 맞습니다. 여럿이면 방향을 모릅니다
# 물음과 상황이 답을 바꿉니다
# 응답 편향 무엇인가
# 사회적 바람직성 좋게 보이는 쪽으로 답합니다
# 묵인 내용과 무관하게 동의 쪽으로 답합니다
# 극단 회피 가운데 보기를 고릅니다
# 기준점 먼저 본 수에 답이 끌려갑니다
# 순서 효과 앞 문항이 뒤 문항을 바꿉니다
# 회상 오차 지난 일을 잘못 기억합니다
# 묵인은 역문항을 섞으면 상쇄됩니다
# 다섯 문항으로 한 개념을 잽니다. 묵인 성향이 평균 0.5 있습니다
# 문항 구성 점수의 평균 참값과의 차이 참값과의 상관
# 모두 정방향 0.502375 0.502270 0.936620
# 정방향 3 역방향 2 0.101429 0.101325 0.974515
# 역문항을 섞으면 묵인의 몫이 0.5023 에서 0.1013 로 줄어듭니다
# 다만 완전히 사라지지는 않습니다. 정방향과 역방향의 수가 같아야 상쇄됩니다
# 보기의 범위가 다르면 답을 그대로 견줄 수 없습니다
# 같은 사람들에게 두 척도로 물었습니다. 속마음은 같습니다
# 보기의 범위 답의 중앙값 자기 척도에서의 위치 참값과의 상관
# 0.5 에서 2.5 까지 1.5004 0.5002 0.8481
# 2.5 에서 4.5 까지 3.4997 0.4998 0.8484
# 답의 중앙값은 1.9993 만큼 차이 나는데 척도 안의 위치는 0.0004 밖에 차이가 없습니다
# 두 조사의 답을 그대로 견주면 없는 차이를 만듭니다. 척도가 다르면 위치로 봅니다
# 무응답과 오응답은 크기가 같아도 성질이 다릅니다
# 참 평균은 54.0214 이고 g 가 1 인 집단이 10 만큼 높습니다
# 무슨 일이 있었는가 관측 평균 치우침 g 로 보정한 뒤
# g 가 1 인 사람이 덜 답함 51.8379 -2.1836 54.0132
# g 가 1 인 사람이 낮게 답함 51.6185 -2.4030 보정할 수 없음
# 두 치우침의 크기가 비슷한데 앞쪽만 고쳐집니다
# 무응답은 누가 빠졌는지가 자료에 남아 있어 175강의 가중치가 씁니다
# 오응답은 잘못된 값이 정상으로 보이므로 자료 안에 흔적이 없습니다
# 오응답을 알아채는 방법은 자료 밖에 있습니다
# 방법 무엇을 하는가
# 재측정 일부를 다시 물어 두 답을 견줍니다
# 기록 대조 행정 자료와 맞춰 봅니다
# 내적 일관성 같은 개념의 문항끼리 맞는지 봅니다
# 논리 검사 모순되는 답을 찾습니다
# 응답 시간 너무 빨리 답한 것을 표시합니다
# 전부 추가 자료가 필요합니다. 답만 보고는 알 수 없습니다
# 같은 것을 여러 번 재면 신뢰도가 오릅니다
# k 번 재서 평균 내면 신뢰도가 k rho / (1 + (k-1) rho) 가 됩니다
# 한 번의 신뢰도 k = 2 k = 4 k = 10 k = 100
# 0.3 0.461538 0.631579 0.810811 0.977199
# 0.5 0.666667 0.800000 0.909091 0.990099
# 0.7 0.823529 0.903226 0.958904 0.995733
# 0.9 0.947368 0.972973 0.989011 0.998890
# 신뢰도 0.3 인 측정도 열 번 재면 0.81 이 됩니다
# 수치로도 확인합니다. 참 기울기는 2 입니다
# 몇 번 재는가 신뢰도 이론 잰 기울기 2 x 신뢰도
# 1 0.500000 0.998796 1.000000
# 2 0.666667 1.333459 1.333333
# 4 0.800000 1.603230 1.600000
# 10 0.909091 1.821086 1.818182
# 신뢰도를 알면 감쇠를 되돌릴 수 있습니다
# 참 기울기 = 잰 기울기 / 신뢰도 입니다
# 잰 기울기가 1.002451 이고 신뢰도 0.5 로 나누면 2.004901 이 됩니다
# 그런데 신뢰도도 추정값이라 그 오차가 그대로 증폭됩니다
# 신뢰도를 얼마로 보는가 되돌린 기울기 참값과의 차이
# 0.40 2.506126 0.506126
# 0.45 2.227668 0.227668
# 0.50 2.004901 0.004901
# 0.55 1.822637 -0.177363
# 0.60 1.670751 -0.329249
# 신뢰도를 0.1 만큼 잘못 보면 기울기가 0.4 넘게 어긋납니다
# 되돌리기는 신뢰도를 따로 잘 추정했을 때만 씁니다
# 줄이는 쪽이 되돌리는 쪽보다 낫습니다
# 무엇을 하는가 무엇이 줄어드는가
# 문항을 다듬기 물음이 만든 오차
# 여러 번 재기 무작위 오차
# 면접원 교육 면접원마다의 차이
# 자기 기입 사회적 바람직성
# 행정 자료 연계 회상 오차
# 174강 문제 5 에서 본 그대로입니다. 표본을 늘리는 것보다 나은 경우가 많습니다