일정

중간2

만점 79
다음주
sampling까지

기말

6/20
만점 121
시험 후 발표합니다!

Pre-Experimental Design

과학적으로 엄밀하지 않은 실험.
어쩔 수 없이 동원하는 방법들입니다.

field experiment, natural experiment 같은 거 들어본 적 있을 거예요.
이게 유일한 선택지인 거죠.

Three Mile Island: 핵 발전소
방사선 누출 사건이 있었음.
이 사건에 대해서 연구하고자 할 때, 실험 할 수 없음.

One-group pretest-posttest design

사건 이전-사건-사건 이후의 세 시점에 대한 비교

static group comparision

두 그룹을 가지고 비교

Internal vs. External Validity

이전에 배운 Validity랑은 달라요.

Internal Validity

External Validity

어떤 집단에서의 연구 결과를 다른 집단에도 적용시킬 수 있는가

Threats to Internal Validity in Experiments

실험 - Internal validity가 강함
설문 - External validity가 강함

History

control group을 만들어서 처리해요.

Maturation

나이를 먹는 등, 시간의 변화에 따른 결과의 변화.
control group으로 해결해요.

Testing

문재인 대통령 당선 전 후로 진보 진영에 대한 질문을 하게 되면,
똑같은 것을 또 묻기 때문에 다른 대답을 할 수도 있다.
그게 testing effect임.
control group을 만듭니다.

Instrumentation

실험이 너무 오래 진행이 되면서 연구 책임자가 변할 수 있음.
그래서 측정 도구가 변함에 따른 결과.

Statistical regression

부모의 키가 매우 크면, 자식은 그보다 작을 수밖에 없음.
계속 전교 1등을 하면, 앞으로는 유지하거나 떨어질 수밖에 없음.

계속 꼴등을 했으면, 앞으로는 오르거나 유지할 수밖에 없음.
꼴등에게 과외 수업을 한다고 하면, 성적이 올랐다고 해도 과연 이것이 과외의 효과인지 알 수 없음.

Selection

random assignment가 잘 안 된 것
그러니 잘 하면 되죠(??)

Experimental mortality

방법이 없어요. 난감한 문제입니다.
실험을 하다가 뛰쳐나가는 겁니다.
피험자가 이탈하는 일이 발생할 수 있어요.

이건 제일 해결할 방법이 없습니다. ㅠㅠ
나가는 사람이 나가지 않은 사람하고 체계적으로 다르기 때문입니다.
우리 field에서 특히나 문제입니다.

Diffusion or imitation of treatments

피험자를 철저히 격리해서 해결

Compensation

double blind test로 해결
연구자가 몰라야 함.

Compensatory rivalry

A group과 B group을 만들고, A에는 특정 처치를 해 주었을 때 B에서 경쟁심을 가지는 경우.
double blind test를 하면 됨.

Demoralization

위의 경우에서, 낙담하여 포기하는 경우.
double blind test를 하면 됨.

→ 대체로 control group이 있으면 해결됩니다.

Classic Experimental Design

ppt에 괄호 안에 True 써 있을 텐데 지우세요.

Source of External Invalidity

external validity가 낮은 이유

실험은 non-probability sample을 안 써서?
실험실 내 상황이 현실에도 일어나리라는 보장이 없음.
가령 폭력 비디오물을 시청한 효과에 대해서 연구했다고 했을 때, 피험자는 TV만 보게 되지만
현실 세계에서도 같은 환경에 놓이지는 않는다.
Interaction between the testing and the stimulus:
testing effect와는 다릅니다.
그건 ‘왜 똑같은 걸 또 묻지?’예요.
이거는, A에 관한 처치 전에 A에 대한 설문을 할 경우 설문과 처치의 상호작용이에요.
가령 호남 사람에 대한 인식에 대해 설문하고, 영상을 보여줄 경우,
PC한가?하고 자아 성찰을 할 기회가 생겨서 영상과 상관 없이 결과가 달라질 수 있는 거죠.
현실 세계에서 어떤 영화를 보여줄 때, 그 영화에 대해서 물어보고 나서 보여주지 않잖아요.
그래서 요즘에는 pre-test를 안 합니다.

Solomon Four-group Design

요즘엔 전혀 안 쓰지만 배울 가치는 있습니다.
고전적인 실험이에요.
1, 2는 필요 없어요. 요새는 3, 4만 해요.

Posttest-Only Control Design

이게 그 3, 4번만 하는 겁니다.

왜 솔로몬 4 그룹 디자인을 안 쓸까요??
돈도 많이 들고, 사람을 모으기가 힘들기 때문이에요.

Web-Based Experiments

피험자 간의 상호작용을 통제하기가 매우 힘듦.
예전에는 싸서 많이 했었음.
그리고 데이터가 많이 누적된 상태로 보니,
피험자들끼리 생각보다 정보 교류가 적어서 별로 우려하는 일이 일어나지 않는다고 함ㅋㅋ
그래서 요새는 많이 한다고 해요.

늙음을 연상시키는 단어와, 젊음을 연상시키는 단어를 읽게 한 후 걷는 속도를 봤더니
늙음을 연상시키는 단어를 본 그룹이 더 늦게 걷게 되는 걸 발견함.
그런데 이것은 웹으로는 할 수 없음.
사용자가 더 집중해서 읽지 않기 때문.
즉, manipulation이 강하게 필요한 경우 web은 부적절.

Experimental Method

장점

??
계속 반복해서 할 수 있음. 설문은 돈이 많이 들어서 반복하기 어려워요.
Internal Validity가 강함

단점

인위적인 실험 환경: 현실과의 괴리.
External Validity가 약함

Survey Research

이번 시험범위는 아닙니다.

Structured Interview
구조화가 잘 되어있으면 - 양적인 거구요
아닌 경우에는 - 질적인 거예요.

Misconceptions

Single time-point : Longitudinal 연구도 있어요.
face to face여야 한다 : 웹 설문도 있음
설문자가 읽어준다 : 직접 읽어도 됨
… 등등등.

Guidelines for asking questions

설문 작성 시 용어 선택에 따라서 사람들이 선택하는 결과가 달라짐.

객관식 설문을 할 수도 있고 주관식 설문을 할 수도 있고
애매한 용어는 명확히 해야 함: 지난 주(월-일)
Double-barreled question을 쓰지 않을 것: 미국이 우주 프로그램에 국내 자원을 쓰는 것에 반대한다 - 우주 프로그램에 반대할 수도 있고, 국내 자원 사용에 반대할 수 있음
대답 어려운 질문 하지 않기: 친구가 몇 명인가? → John이라는 이름을 지닌 친구가 몇 명인가?(비율로 친구의 숫자를 역산해냄)
민감한 문제
응답자에게 관련된 걸 물어야 함
contingency question: 담배를 핀다 (네) - 얼마나 피는가 (주 2개피) ..
부정문 쓰지 않기. 이중 부정문이 되어 너무 복잡하다
framing

매트릭스 포맷으로 만들면 공간 절약이 되긴 한다.
하지만 전부 매트릭스 포맷으로 만들면 한 문항으로 찍거나 할 수도 있음 ㅠㅠ

The problem of non-attitudes

screening question을 던지기: 없는 사건 등을 들어본 적 있냐고 물어보기.
어떤 사건에 대해서 의견이 있냐고 물어보고 그 의견이 무엇인지 물어보기.
하지만 이 경우에도, 유식해 보이고 싶어하는 욕망 때문에 이 문제가 잘 해결되지는 않는다.

오늘은 여기까지 하고 다음주 시험!