Reliability and Validity
Reliability
아이큐를 측정했는데, 며칠 후에 보니 계속 아이큐가 변동한다고 해 봅시다.
혈압을 측정했는데, 엄청나게 널뛰기를 한다든지.
이런게 reliability에 대한 이야기입니다.
- Consistency of Mesurement
- 여러번 조사
- 여러가지 코더/옵저버로 관측
- 여러 indicator로 측정:
한 item을 여러 방법으로 측정합니다.
이 방법들로 측정한 결과끼리 correlation이 높은 경우,
reliablity가 높을 거라고 생각하는거죠.
- Reliablity = true-score variance / observed score variance
- true-score variance + random error variance = obseved score variance
- 계산 가능합니다!
Why Reliability is Important?
- Reliability는 validity를 위해서 꼭 필요함
- validity: 정말 내가 측정하고자 하는 것을 측정하고 있는가?
- ?
- 1종 오류(철학자의 오류): 없는 관계를 있는 것으로 파악함
- 2종 오류: 있는 것을 없는 것으로 파악함
???
4. Accuracy
Indicators of reliability
- Cronbach’s Alpha: 공변성을 파악하는 지표.
위에서 언급한 indicator 간 공변성 파악할 때 자주 써요. - Split-half correlation: 거의 사용하지 않아요.
- Test-retest correlation: 가장 좋은 방법.
계속 측정하면서, 같은 결과를 나타내는지 봅니다.
Relationship of Reliability to Validity
- Reliability → Validity: 필요조건! 충분조건은 아님.
- 사례: 실제로 술을 안 마시면서 계속 안 마신다고 응답(valid & reliable)
vs. 마시면서 계속 안 마신다고 응답(invalid & reliable)
Types of Validity
- Face Validity(액면 타당도): What is there?
- mesurement에 문제가 있는지 본다.
- attitude를 측정하면서 difficult & easy를 가져오면 안 돼.
- 이 척도만 가지고는 충분하지 않음.
- Content Vality(내용 타당도): 빠진 내용이 있나?
- 컨셉의 full range를 커버하고 있지 않은 경우.
- 세 개의 형용사 쌍이 필요한데 good & bad 밖에 없음.
- 이 척도만 가지고는 충분하지 않음.
- Criterion Validity
- Construct Validity