[컴연방] 중간2 요약

Posted on 2017-05-22 | In 커뮤니케이션 양적 연구 방법론 |

시간과 인과 문제

정적 설계(횡단 연구)

정적인 스냅샷
특정 시점의 인구 일부에 대한 조사
한계
- 시간에 따른 변화를 알 수 없음
- 단순한 일반화 하기 어려움

종단 연구

시간에 따른 연구
종류: 경향 연구, Cohort 연구, 패널 연구

경향 연구

시간에 따른 변화 측정
최소 2개 이상의 횡단 연구 포함
인구의 횡단 연구의 나열
한계
- 시작점
- 개인의 변화 알 수 없음
- 일반화 불가: 특정 시점에서만 그럴 수 있음

cohort 연구

cohort인 개인을 2회 이상의 시점에 대하여 조사함
cohort: 비슷한 사건을 경험했거나, 같은 시작점을 공유하는 사람들

패널 연구

같은 사람에 대하여 여러 번 연구
개인의 변화를 시간에 따라 조사
강한 일반화를 할 수 있다
시간과 비용이 매우 많이 듦
이탈 문제: 극단적인 케이스인 경우 이탈의 결과로 통계 수치가 왜곡될 수 있다
Reliability and Validity

질적인 것의 측정 기준

concept explication을 통해서, 관심 컨셉의 측정 도구를 갖고 있다.
많은 컨셉을 측정하는 데 있어 상대적인 실패와 성공을 어떻게 구분할까
- Reliability: 같은 대상을 반복적으로 측정했을 때, 그 측정법이 같은 결과를 매번 내는가
- Validity: 처음에 측정하고자 했던 개념을 실제로 적절히 측정하는 정도

Reliability

측정의 지속성
- 시간이 지나도 재생산되는가
- 다른 관측자나 측정 도구(coder)에서도 일관된지
- 여러 indicator 사이에서도 일관적인지
랜덤 오차로부터 자유로운 정도
- 관측치 = (관측불가능한) 실제 값 + 오차 값
- reliability = 실제 값 편차 / 관측 값 편차

Reliability의 중요성

Reliability는 Validity의 필요조건입니다(충분조건은 아님)
측정 오차는 2변수 상관관계를 약화하며 2종 오류를 증가시킨다.
- 아주 단순하게 말하자면, 많은 사회과학은 컨셉이나 변인 간 상관관계를 밝히는 데 목적이 있다
- 가령 미디어 노출 측정의 reliability가 .60이고, 결과 측정은 .80, 실제 상관관계는 .30, 관측 상관관계는 .21이다

Reliability의 측정법

1. 시간에 따른 일관성

시간에 따라 일관적임
- 일관성을 측정하기 위하여 나중에 다시 측정해 본다
- 전자와 후자를 비교해본다

2. 재생산성

관측자와 코더 사이의 일관성
가령 사회 관측과 맥락 분석 사이
측정 도구의 동등한 적용
- 관측자는 같은 결론에 도달하는가?
- 같은 결론에 도달하지 않는다면, 우리가 측정하고 있는 것은 무엇인가?
  - reliablity의 부족은 validity를 손상시킨다.

3. 균질성(내적 일관성)

1. 측정이 한 시점에만 이루어졌고, 2. 한 기준을 측정하는 여러 아이템이 있는 경우, 관습적으로 한 시점에서의 다수 측정 아이템에 의한 내적 일관성을 정의할 수 있다.
이것은 차선책이다.단일 시점의 측정은 외부 요인으로부터 공통된 영향을 받을 수 있다.

4. 정밀성

측정에서 실수가 없는 것
명료하고 잘 정의된 절차에 의해서 정밀성이 올라간다.
- 오류를 일으키는 복잡성을 줄인다
연구자는 다음을 충분히 갖춰야 한다:
- 숙련도
- 동기
- 집중도

Reliability의 지표

검사-재검사의 상관도

가장 좋은 방법
한 번 이상 측정하여 같은 결과를 내는지 보는 것

Split-half correlation

거의 사용하지 않음
개념에 대해서 여러 기준이 있는 경우, 아이템을 두 척도로 나누어 각기 상관도가 있는지 보는 것
한 척도에 대해서 높은 점수를 받는 사람은 다른 척도에 대해서도 높은 점수를 받는가?

Cronbach’s Alpha

indicator간 공변성(내적 일관성)을 파악할 때 자주 쓴다.

사례

개념: TV 뉴스 노출
정의: TV 뉴스 프로그램을 보는 양
Indicator:
1. 아침 뉴스를 보는 빈도
2. 오후 5:30에 국가 뉴스를 보는 빈도
3. 지역 뉴스를 보는 빈도
4. TV뉴스 매거진이나 인터뷰 프로그램을 보는 빈도
Index: 11개 등급으로 나누어 0은 안 본다, 11은 항상 본다로.

Reliability와 Validity의 관계

신뢰도는 유효성의 필요조건
충분조건은 아님
사례: 실제로 술을 안 마시면서 계속 안 마신다고 응답(valid & reliable)
vs. 마시면서 계속 안 마신다고 응답(invalid & reliable)

Validity의 종류

1. Face Validity(액면 타당도)

논리적 분석
“겉으로 보기에 타당한가?”
- attitude를 측정하면서 difficult & easy를 가져오면 안 돼.
광범위한 리뷰에 의한 논리적 분석
각각의 아이템을 개념적 정의와 비교
- 해당 개념을 잘 반영하는가? 그렇지 않은 경우 기각.
- “액면적으로” 유효한 측정인가?
액면 타당도는 측정 도구의 타당도를 보장하지 않는다. 최소 조건

2. Content Validity(내용 타당도)

논리적 분석
“빠진 내용은 없는가?”
광범위한 리뷰에 의한 논리적 분석
각 차원의 개념적 정의와 시작해서:
- 조작적 수준에서 indicator에 의해 설명 가능한가?
- indicator가 개념의 뜻을 모두 포함하는가?
현재 indicator가 불충분한 경우: 발전시키고 indicator를 더 추가한다
최소 조건

3. Criterion Validity

상관 관계 분석, 실험 분석
같은 현상(기준)에 대하여 더 직접적이거나 이미 검증된 측정 도구와 비교하여 성립된다.
measurement tool이 낸 답(criterion)이 실제 결과와 들어맞지 않으면 안 된다.
- 나는 수능 성적이 나쁜데, 대학에 와서 보니 성적이 매우 좋음
  → 수능 시험이 나의 수학 능력을 엄밀하게 측정하지 못한다고 추정 가능.
- 혈중알콜농도: “얼마나 술을 마셨습니까?”라는 설문은 혈중알콜농도 측정기로 바로 측정할 수 있고,
  이를 통해서 유효성을 검증 가능하다.
항상 정답이 존재하는 게 아니기 때문에, 이 유효성은 예외적으로 존재한다.

A. Concurrent Validity

측정 도구가 추정한 값을 즉시 확인 가능한가?
새로운 측정 도구를 기존의 도구와 비교해서 유효화 할 수 있다
새 지능 검사가 기존 지능 검사와 상관 관계가 있는가? 음주 자가 보고가 혈중 알콜 농도 테스트와 일치하는가?

B. Predictive Validity

측정 도구가 추정한 값을 미래에 확인할 수 있는가?
ex. 수능 성적과 학점

4. Construct Validity

상관 관계 분석, 실험 분석
다른 이론에 의한 다양한 측정 도구와 상관 관계가 있다는 것을 밝힘으로써, 어떤 측정 도구의 타당도가 검증될 수 있다.
검증을 위한 명확한 기준이 없는 경우, 이 검증 방법이 자주 쓰인다.
Construct Validity와 Criterion Validity가 구분되지 않는 경우가 많다.
Construct Validity 평가 방법: Testing of hypotheses, Convergent Validity, Discriminant Validity

A. 가설 검증

가장 널리 쓰임
다른 것에 대한 개념의 이론적 연결고리를 검증
전제와 결론을 구분:
- 무엇이 개념을 도출하는가
- 개념의 효과가 무엇인가

B. Convergent Validity(수렴 타당도)

선택적인 방법
개념의 측정도구가 같은 개념의 다른 종류의 측정도구와 관련 있음을 입증하는 것

C. Discriminant(Divergent) Validity(차별 타당도)

선택적인 방법
다르지만 관련있는 개념의 측정 도구의 검사 결과와 해당 측정도구의 검사 결과를 비교
다른 개념의 검사 점수와 관련이 없는 경우 달성된다
ex. scanning 측정은 seeking 측정과 관련이 없어야 한다.

Sampling

모든 것을 측정할 수 없기 때문에 표집을 한다.
무엇을 관찰하고 무엇을 관찰하지 않을지를 결정하는 것은 사회과학의 중요한 부분이다.
표집(Sampling): 관찰 대상을 고르는 과정
표집의 두 종류
- Probability Sampling(확률 표집): 임의 추출에 기반
- Non-probability Sampling(비확률 표집): 편의에 기반
임의 추출(Random Selection): 선택 과정에서 일어난 어떤 사건에도 관계없이 모든 요소가 뽑힐 확률이 동일한 것

Alf Landon for President(1936)

Literary Digest에서 1936년에 실시한 추측치가 완벽히 빗나간 것:

Roosevelt가 43%로 질 것으로 예측했으나, 61%로 승리
패인: 전화번호부와 자동차 등록부에서 표집→부유한 사람들만 표집함

Thomas E. Dewey for President(1948)

조지 갤럽이 1948년에 추측한 것이 완전히 빗나간 것
- 갤럽: 소득에 기반하여 quota sampling
패인:
1. 대부분의 조사원이 10월에 조사를 마침
2. 부동층이 트루먼을 뽑음
3. 대표되지 않은 샘플들: 2차 세계 대전으로 40년대와 사회가 달라짐

Non-probability Sampling

임의 추출할 frame이 존재하지 않는 경우 ex. 노숙자 연구
확률 이론에 기반하지 않고 추출하는 방법
종류: 편의 표집, 의도 표집, 눈덩이 표집, 할당 표집
의의
- 한정적으로 유용함(특히 질적 연구)
- 인구 대표의 정확도와 정밀도 측면에 있어서 매우 제한적이다
- 인구 전체를 대변한다고 보장할 수 없다

1. Reliance on available subjects(Convenience or haphazard sampling; 편의 표집)

편의대로 표집하는 것
ex. 길 가는 사람, 학교의 학생들, 메일 수신자
자주 사용되지만 보통 편향되어 있다.
매우 부정확하다(특히 큰 모집단에 대한 추정을 할 경우 더욱)

2. Purposive or judgmental sampling(의도 표집)

관찰자가 판단하기에 가장 도움이 될 것 같은 샘플을 표집하는 것
연구의 목적에 의해서 좌우된다
어떤 큰 집단의 구성원에 대하여, 각각은 쉽게 구분할 수는 있으나 하나하나를 나열하기는 힘든 경우, 일부만 연구하고 싶을 수 있다.
좌익과 우익을 연구하기 위해서 보수/진보 성향의 동아리 학생을 모집하는 것.

3. Snowball sampling(눈덩이 표집)

조사 대상을 찾기 어려운 경우 ex. 성소수자, 노숙자 등
하나의 대상을 찾은 후, 그 대상에게 다른 대상을 소개받아 연구함
표본을 용이하게 수집할 수는 있으나, 일반화가 어렵다

4. Quota sampling(할당 표집)

적절한 인구학적 특성 테이블을 만들고, 그 인구 비율에 맞추어 샘플 표집
ex. 성별, 나이, 학력 등
문제점
- 쿼터 프레임이 정확해야 함: 조지 갤럽 1948년 선거 조사 결과
- 샘플이 랜덤하게 표집되지 않음: 확률적 표집과 구분할 것! 편향된 표집이 가능함

Probability Sampling

확률 이론에 따라, 임의 추출(random selection)하는 방식
대규모 연구에서 사용됨
임의 추출
- 선택 과정에서 일어난 어떤 사건에도 관계없이 모든 요소가 뽑힐 확률이 동일한 것
- 대표성을 지닌 샘플을 추출할 확률이 높아짐
물론 오류가 있을 수도 있지만, 다른 표집 방법보다는 더 대표성을 띈다
샘플의 대표성이나 정확성을 계산할 수 있다

Statistics → Parameters

Statistics(통계)
- 샘플의 특성을 요약한 것
- 모집단의 지표를 추정하는 데 사용
Parameter(지표)
- 모집단의 특성을 요약한 것
확률 이론은 모집단의 지표를 추정하는 기초를 제공
10억 유권자 모집단 / 2000 유권자 샘플
모집단으로부터 추출된 하나의 샘플으로 모집단 지표를 추정할 수 있다.

Sampling Distribution and Sampling Error(표본 분포과 표본 오차)

모집단에서 샘플을 뽑을때마다 parameter의 추정치는 조금씩 다르다
샘플을 계속 추출해보면 모집단에 지표를 중심으로 정규분포곡선을 그릴 수 있음
확률 이론을 통해서 이 샘플이 얼마나 실제 값으로부터 떨어져 있는지 알 수 있다.

Normal Curve of Sample Estimates(표본 평균 곡선)

정규 분포
평균 = 모평균
1 SE = 표준정규분포의 1 = 68%

Standard Error

Sampling Error(표집 오차) = 전수 조사 대신 샘플을 뽑아 조사함에 따른 오차
Standard Error(표준 오차) = 표집 오차의 정도
- sqrt(P*Q/n) = sqrt(V/n) (PQ = V = 모분산)
- 모집단 지표에서 떨어진 정도를 나타냄

Confidence Levels

모집단의 지표로부터 일정 구간 안에 특정한 신뢰 수준으로 포함될 것을 예측할 수 있다.
신뢰 수준
- 1SE 범위 안에는 68% 확률로 들어 있다
- 2SE = 95%
- 3SE = 98%

Confidence Interval

모집단의 지표가 포함되어있을 것으로 추정되는 구간
SE = 3%인 경우: 95% 신뢰수준의 신뢰구간 = 45% ± 2 X S.E. = 39% ~ 51%
신뢰 구간의 축소:
- SE가 작아질수록
- 표본 크기가 커질수록(= SE 작아질수록)

Sample Size and Confidence Interval

정밀도 ↑ = 표본 크기 ↑

하지만 정밀도 상승 수준이 체감한다
정밀도를 같은 크기로 향상시키려면 표본 수를 훨씬 많이 늘려야 함

Types of Sampling Designs

Simple Random Sampling(단순 임의 표집)

표집 틀 수립
1. 요소들의 목록에 번호를 각각 부여한다
2. 각 번호를 랜덤하게 추출한다
난수표
컴퓨터로 자동화 가능

Systematic Sampling(체계 표집)

리스트에서 매 k번째 요소를 고른다
첫 번째 요소는 랜덤하게 골라야 함(random start)
Sampling Inteval(표집 구간)
- 모집단 크기 / 샘플 크기
- 샘플에서 요소간의 평균적인 구간 차이
Sampling Ratio(표집 비율)
- 샘플 크기 / 모집단 크기
- 모집단에서 표집된 샘플이 차지하는 비율

Systematic Sampling vs. Simple Random Sampling

체계 표집은 사실상 단순 임의 표집과 같다
단, 주기성으로 인한 차이가 생길 수 있다
표본이 어떤 순서를 가지고 나열된 경우, 편향된 결과를 낼 수 있음

Stratified Sampling(층화 표집)

대표성 있게 표집하는 것
표집 오차를 줄임으로써 대표성 획득
균질적 모집단이 비균질적 모집단보다 더 표집 오차가 작다
큰 모집단에서 임의추출하는 대신 균질적인 작은 부분집합에서 표집
Strafication Variables(분할 척도)
- 어떤 변수가 사용 가능한가에 따라 선택
- 정확히 대표하고자 하는 변인과 관계되어야 함
- 선행 연구를 통해 이런 척도를 선정
단순 임의 표집보다 더 대표성 있는 표집이 가능
쿼터 샘플은 아무렇게나 쿼터를 맞추기만 하지만, 층화 표집은 전체에서 분할해서 대표성 있게 추출.

Multi-stage Cluster Sampling(다단 군락 표집)

이전 표집 방법은 단순히 리스트에서 고르는 것: 단순함
인구를 리스트 하기 쉽지 않음 ex. 미국의 지역별 종교에 대한 연구
Cluster를 뽑은 뒤 그 Cluster에서 요소를 추출
군락 표집과 표집 오차
- 매우 효율적
- 매우 부정확한 샘플
해결법
1. 표본 크기 ↑
2. 표집하는 요소의 균질성 ↑
딜레마
- 클러스터의 수 ↑ → 클러스터당 요소 수 ↓
- 클러스터의 대표성 ⟷ 클러스터 구성 요소의 대표성
- 클러스터 수가 많은게 요소를 많이 뽑는 것 보다는 낫다
  - 그룹 간 이질성이 더 높음 → 한 집단의 개체만 뽑을 경우 더 큰 표집 오차 동반