이 글에서 알게 되는 것
- 변수의 종류(명목·순서·등간·비율)와 분석 방법이 연결되는 방식
- 실험설계의 종류(집단 간·반복측정·요인설계 등)와 분석의 연결
- 기술통계와 추리통계의 차이
- 영가설, 유의수준, 유의확률을 한 흐름으로 이해하기
- p값을 읽을 때 자주 하는 오해
이런 분께
- 통계 프로그램을 쓰기 전에 용어를 정리하고 싶은 분
- 결과표의 p값이 무슨 뜻인지 헷갈리는 분
변수의 종류
변수는 사람마다 값이 달라지는 특성입니다(성별, 점수, 만족도 등). 어떤 분석을 쓸 수 있는지는 변수가 어떤 값으로 측정되었는지에 달려 있어서, 분석 전에 변수의 종류부터 확인합니다.
| 측정 수준 | 특징 | 예 | 계산 |
|---|---|---|---|
| 명목 | 이름으로 구분만 합니다. 순서나 크기가 없습니다. | 성별, 전공, 거주 지역 | 빈도, 비율, 최빈값 |
| 순서 | 순서는 있지만 간격이 같다고 할 수 없습니다. | 학년 등급, 단계로 응답한 만족도 한 문항 | 중앙값, 순위 |
| 등간 | 간격이 같습니다. 0이 "없음"을 뜻하지 않습니다. | 섭씨 온도, 여러 문항을 합산·평균한 척도 점수(관행) | 평균, 표준편차 |
| 비율 | 간격이 같고 0이 "없음"을 뜻합니다. | 키, 몸무게, 월 소득, 공부 시간 | 평균, 비율 비교까지 가능 |
명목·순서 변수를 묶어 질적(범주형) 변수, 등간·비율 변수를 묶어 양적 변수라고 부르기도 합니다. 양적 변수에는 키처럼 연속적인 값도 있고, 결석 횟수처럼 0이 의미 있으면서 정수로만 나오는 이산형 값도 있습니다. 리커트 5점 척도의 단일 문항은 엄밀히는 순서 변수이지만, 여러 문항을 합산·평균한 점수는 등간 변수처럼 다루는 것이 연구에서 흔한 관행입니다. 이 관행을 쓸 때는 논문에 그렇게 다루었다고 밝힙니다.
역할에 따른 이름도 알아 둡니다. 설명하거나 예측하는 데 사용하는 변수를 독립변수, 설명하거나 예측하려는 결과 변수를 종속변수라고 합니다. 실험에서는 독립변수가 연구자가 조작한 조건이라 원인으로 해석할 수 있지만, 관찰 연구에서는 같은 이름을 써도 인과를 뜻하지 않습니다. 독립변수와 종속변수 사이에서 과정을 설명하는 변수는 매개변수, 관계의 강도나 방향을 바꾸는 변수는 조절변수입니다.
실험설계의 종류
같은 변수라도 자료를 어떻게 모았는지(설계)에 따라 쓰는 분석이 달라집니다. 설계는 세 가지 질문으로 구분합니다. 독립변수를 연구자가 조작했는가, 대상을 무작위로 배정했는가, 같은 사람을 여러 번 측정했는가.
| 설계 | 어떤 설계인가 | 예 | 대표 분석 |
|---|---|---|---|
| 완전무작위 설계 집단 간 설계 | 참가자를 무작위로 한 조건에만 배정합니다. 사람마다 한 조건만 경험합니다. | 새 수업 방법과 기존 방법에 학생을 무작위로 나눔 | 독립표본 t검정일원분산분석 |
| 반복측정 설계 집단 내 설계 | 같은 사람이 모든 조건을 경험하거나 여러 시점에서 측정됩니다. | 수업 전·후 점수, 3개 시점의 불안 점수 | 대응표본 t검정반복측정 분산분석 |
| 요인설계 | 독립변수(요인)를 둘 이상 동시에 조작합니다. 요인끼리의 상호작용을 볼 수 있습니다. 성별처럼 연구자가 조작할 수 없는 특성을 요인으로 넣을 때는 조작한 것이 아니라 측정한 집단 특성임을 밝힙니다. | 수업 방법(2) × 피드백 제공 여부(2) | 이원분산분석 |
| 무작위 구획설계 | 결과에 영향을 줄 특성(예: 사전 성적)으로 먼저 구획을 묶고, 구획 안에서 무작위로 배정합니다. 오차를 줄입니다. | 사전 성적 상·중·하로 묶은 뒤 각 구획에서 배정 | 구획을 요인으로 넣은 분산분석 |
| 혼합설계 | 집단 간 요인과 집단 내(반복측정) 요인이 함께 있습니다. | 처치집단·통제집단 각각의 사전·사후 점수 | 혼합 분산분석 |
같은 사람을 여러 번 측정하거나 서로 짝지어진 관측값은 서로 독립이 아니므로, 독립표본 방법을 그대로 쓰지 않고 반복측정(대응) 방법을 씁니다. 대응표본 t검정에서 정규성을 살펴보는 대상은 각 시점의 점수 자체가 아니라 쌍별 차이값입니다. 설계에 맞지 않는 분석을 고르면 결과를 믿기 어렵습니다.
무작위 배정과 무작위 표집은 다릅니다. 무작위 배정은 뽑힌 사람을 조건에 무작위로 나누는 것으로 인과 해석의 근거가 되고, 무작위 표집은 모집단에서 표본을 무작위로 뽑는 것으로 결과를 모집단에 일반화하는 근거가 됩니다.
| 연구 유형 | 독립변수 조작 | 무작위 배정 | 인과 해석 |
|---|---|---|---|
| 진실험 | 있음 | 있음 | 가장 강하게 말할 수 있음 |
| 준실험 | 있음(이미 있는 집단 사용) | 없음 | 집단 간 원래 차이를 통제해야 조심스럽게 말할 수 있음 |
| 관찰·조사 연구 설문 등 | 없음 | 없음 | 관계(연관)를 말하는 데 머무는 것이 안전함 |
이 사이트의 Amos 강의처럼 설문으로 모은 자료는 대부분 관찰·조사 연구에 해당합니다. 이때 경로계수는 "영향을 준다"보다 "관련이 있다"로 해석하는 편이 안전하며, 인과 해석은 이론적 근거를 함께 제시할 때 조심스럽게 씁니다.
기술통계와 추리통계
| 기술통계 | 추리통계 | |
|---|---|---|
| 하는 일 | 가진 자료를 요약해서 보여줍니다. | 일부(표본)를 보고 전체(모집단)에 대해 판단합니다. |
| 쓰는 값 | 평균, 표준편차, 빈도, 비율, 그래프 | t검정, 분산분석, 상관, 회귀, 카이제곱 등의 검정과 신뢰구간 |
| 질문 | 우리 표본은 어떤 모습인가? | 이 차이나 관계가 모집단에서도 있다고 말할 수 있는가? |
연구에서는 보통 기술통계로 표본의 특성을 먼저 보고한 뒤 추리통계로 가설을 검정합니다. 모집단 전체를 조사할 수 없어서 표본을 뽑기 때문에 추리통계가 필요합니다. 모집단의 특성값은 모수, 표본에서 계산한 값은 통계량이라고 부릅니다.
가설검정의 흐름
- 1가설을 세웁니다.영가설(H₀)은 "차이가 없다·관계가 없다"입니다. 대립가설(H₁)은 연구자가 확인하고 싶은 "차이가 있다·관계가 있다"입니다.
- 2유의수준(α)을 정합니다.결과를 보기 전에 정하는 기준입니다. 대개 .05를 씁니다. 영가설이 참인데 잘못 기각할 위험을 어디까지 허용할지 정한 값입니다.
- 3검정통계량과 유의확률(p)을 구합니다.자료로 t, F, χ² 같은 검정통계량을 계산하면 프로그램이 유의확률 p를 함께 보여줍니다.
- 4p와 α를 비교해 판단합니다.p가 α보다 작으면(p < .05) 영가설을 기각하고 "통계적으로 유의하다"고 말합니다. p가 α 이상이면 영가설을 기각하지 못합니다.
| 용어 | 뜻 |
|---|---|
| 유의확률 (p값) | 영가설이 참이라고 가정할 때, 지금 얻은 결과 또는 그보다 더 극단적인 결과가 나올 확률입니다. 프로그램이 계산해서 보여줍니다. |
| 유의수준 (α) | 연구자가 미리 정한 기준 확률입니다. 영가설이 참인데 기각하는 오류(1종오류)를 허용하는 최대치입니다. |
| 1종오류 | 영가설이 참인데 기각하는 오류. 그 확률이 α입니다. |
| 2종오류 (β) | 영가설이 거짓인데 기각하지 못하는 오류. 실제 효과를 놓치는 것입니다. |
| 검정력 (1−β) | 실제 효과가 있을 때 그것을 찾아낼 확률입니다. 흔히 .80 이상을 목표로 합니다. 표본이 클수록 높아집니다. |
| 양측검정·단측검정 | 차이의 방향을 가리지 않고 보면 양측, 한쪽 방향만 보면 단측입니다. 특별한 이유가 없으면 양측검정을 씁니다. |
유의수준 α는 연구자가 정하는 기준이고, 유의확률 p는 자료에서 계산되는 값입니다. 둘을 비교해서 판단합니다.
p값을 읽을 때 자주 하는 오해
| 오해 | 바로잡기 |
|---|---|
| ✕p = .03이면 영가설이 참일 확률이 3%이다 | ✓아닙니다. p는 영가설이 참이라고 가정했을 때 관측한 검정통계량만큼 또는 그보다 더 극단적인 값이 나올 확률이지, 영가설이 참일 확률이 아닙니다. |
| ✕p가 작을수록 효과가 크다 | ✓아닙니다. 표본이 크면 아주 작은 차이도 p가 작아집니다. 효과의 크기는 효과크기(Cohen의 d, r, η² 등)로 따로 봅니다. |
| ✕p ≥ .05이면 차이가 없다 | ✓아닙니다. "차이가 있다는 증거를 찾지 못했다"는 뜻일 뿐이며, 표본이 작아 검정력이 낮았을 수도 있습니다. |
| ✕p < .05이면 중요한 결과이다 | ✓통계적 유의성과 실질적 중요성은 다릅니다. 효과크기와 신뢰구간을 함께 해석합니다. |
그래서 논문에는 p값만 쓰지 않고 검정통계량, 자유도, p, 효과크기를 함께 씁니다. 신뢰구간(대개 95%)은 추정값이 어느 범위에 있을 수 있는지 보여주므로 가능하면 같이 보고합니다.
논문 문장 예
위 수치는 설명용 가상 값입니다. p값은 보통 소수점 앞의 0을 빼고 p = .016처럼 쓰며, 매우 작을 때는 p < .001로 씁니다. 효과크기의 크기 기준(예: d = .2, .5, .8)은 Cohen이 제안한 관례적 기준이며 분야에 따라 다르게 해석할 수 있습니다.
변수 종류로 분석 고르기
| 독립변수 | 종속변수 | 대표 분석 |
|---|---|---|
| 범주 2개 집단 | 양적 | 독립표본 t검정 |
| 같은 대상 2회 측정 | 양적 | 대응표본 t검정 |
| 범주 3개 이상 집단 | 양적 | 일원분산분석 |
| 범주 | 범주 | 카이제곱 검정 |
| 양적 | 양적 | 상관분석, 회귀분석 |
자세한 선택 기준은 분석 선택 가이드에서 확인할 수 있습니다.