이 강의에서 할 일
- 선형 회귀(Linear Regression)로 단순회귀와 다중회귀 모형을 만든다.
- R², 회귀계수 B, 표준화 계수 Beta를 읽는다.
- 다중공선성과 잔차로 가정을 점검한다.
시작하기 전에
- 피어슨 상관분석(11강): 산점도와 상관 먼저
- 11강과 같은 실습 데이터 사용(오른쪽)
회귀분석이란
독립변수(예측변수)의 값으로 종속변수(결과변수)를 설명하고 예측하는 방법입니다. 독립변수가 하나면 단순회귀, 둘 이상이면 다중회귀입니다. 이 강의는 11강과 같은 데이터에서 시험점수를 종속변수로, 주당학습시간·학습몰입·학습스트레스를 독립변수로 둡니다.
- 변수 유형 — 종속변수는 연속형이어야 합니다. 독립변수는 연속형이나 범주형을 쓸 수 있고, 범주형은 더미 변수로 바꿔야 합니다. 종속변수가 이분형이면 로지스틱 회귀를 씁니다.
- 주요 가정 — 선형성, 오차(잔차)의 정규성과 등분산성, 오차의 독립성, 독립변수 사이의 다중공선성이 심하지 않을 것.
- 인과 주의 — 회귀로 예측이 된다는 것이 원인이라는 뜻은 아닙니다. 연구 설계가 인과 해석을 뒷받침하는지 따로 따져야 합니다.
SPSS에서 실행하기
- 1분석 > 회귀분석 > 선형(Analyze > Regression > Linear)을 엽니다.시험점수를 종속변수(Dependent) 칸에 옮깁니다. 독립변수(Independent(s)) 칸 위의 블록 1/1(Block 1 of 1)에는 주당학습시간만 넣습니다. 방법(Method)은 입력(Enter)으로 둡니다.
- 2다음(Next)을 눌러 블록 2(Block 2)에 나머지 변수를 넣습니다.블록 2/2(Block 2 of 2)에 학습몰입과 학습스트레스를 넣으면, 결과에 모형 1(단순회귀)과 모형 2(다중회귀)가 함께 나옵니다. 처음부터 한 모형만 보려면 블록 1(Block 1)에 변수를 모두 넣습니다. SPSS 32 한국어 화면에서는 이전/다음 버튼으로 블록을 오가며, 이미 쓴 변수도 왼쪽 목록에 남아 있으니 블록 2에 주당학습시간을 다시 넣지 않도록 주의합니다.
- 3통계량(Statistics)에서 결과표 옵션을 켭니다.추정값(Estimates), 신뢰구간(Confidence intervals), 모형 적합(Model fit), R 제곱 변화량(R squared change), 기술통계(Descriptives), 공선성 진단(Collinearity diagnostics), Durbin-Watson을 켭니다. 옵션 이름은 버전에 따라 조금 다릅니다.
- 4도표(Plots)에서 잔차 그림을 켭니다.Y에 *ZRESID, X에 *ZPRED를 넣고, 표준화 잔차도표(Standardized Residual Plots)에서 히스토그램(Histogram)과 정규 확률도표(Normal probability plot)를 켭니다. 잔차의 정규성 검정이 필요하면 저장(Save)에서 비표준화 잔차(Unstandardized residuals)를 저장한 뒤 데이터 탐색(Explore)으로 확인합니다.
- 5확인(OK)을 누르고 뷰어(Viewer)에서 결과를 확인합니다.입력/제거된 변수(Variables Entered/Removed), 모형 요약(Model Summary), ANOVA, 계수(Coefficients), 공선성 진단(Collinearity Diagnostics) 표와 잔차 그림이 나옵니다.
창 이름과 옵션 이름은 SPSS 버전에 따라 다를 수 있습니다. 화면은 SPSS 32 한국어판 기준입니다.
1단계 · 단순회귀: 주당학습시간 → 시험점수
| 모형 | R | R² | 수정된 R² | 추정값의 표준오차 |
|---|---|---|---|---|
| 1 | .65 | .42 | .42 | 10.04 |
| 모형 1 | 제곱합 | df | 평균 제곱 | F | 유의확률 |
|---|---|---|---|---|---|
| 회귀(Regression) | 10968.30 | 1 | 10968.30 | 108.70 | < .001 |
| 잔차(Residual) | 14933.20 | 148 | 100.90 | ||
| 합계(Total) | 25901.50 | 149 |
| 예측변수 | B | 표준오차 | 베타 | t | 유의확률 |
|---|---|---|---|---|---|
| (상수) | 37.22 | 2.29 | 16.24 | < .001 | |
| 주당학습시간 | 2.29 | 0.22 | .65 | 10.43 | < .001 |
SPSS의 모형 요약, ANOVA, 계수 표에서 모형 1에 해당하는 값입니다. 값은 실습 데이터(가상, 150명)를 SPSS 32로 분석한 값입니다.
- B(비표준화 계수) — 주당학습시간이 1시간 늘면 시험점수가 평균 2.29점 높아진다고 예측합니다. 단위를 그대로 쓰므로 변수의 단위가 달라지면 값도 달라집니다.
- Beta(표준화 계수) — 변수를 표준화했을 때의 계수라 단위가 다른 변수끼리 상대적 크기를 비교할 때 씁니다. 단순회귀에서는 상관계수 r과 같습니다(.65).
- R² — 시험점수 분산의 42%를 주당학습시간이 설명합니다.
2단계 · 다중회귀: 세 변수로 예측하기
| 모형 | R | R² | 수정된 R² | 추정값의 표준오차 | R² 변화량 | F 변화량 | df1 | df2 | 유의확률 F 변화량 |
|---|---|---|---|---|---|---|---|---|---|
| 1 | .65 | .42 | .42 | 10.04 | .42 | 108.70 | 1 | 148 | < .001 |
| 2 | .75 | .56 | .56 | 8.79 | .14 | 23.60 | 2 | 146 | < .001 |
| 모형 2 | 제곱합 | df | 평균 제곱 | F | 유의확률 |
|---|---|---|---|---|---|
| 회귀(Regression) | 14617.08 | 3 | 4872.36 | 63.04 | < .001 |
| 잔차(Residual) | 11284.42 | 146 | 77.29 | ||
| 합계(Total) | 25901.50 | 149 |
| 예측변수 | B | 표준오차 | 베타 | t | 유의확률 | 95% 신뢰구간(B) |
|---|---|---|---|---|---|---|
| (상수) | 36.28 | 5.86 | 6.19 | < .001 | [24.70, 47.86] | |
| 주당학습시간 | 1.00 | 0.27 | .28 | 3.72 | < .001 | [0.47, 1.53] |
| 학습몰입 | 0.45 | 0.08 | .45 | 5.96 | < .001 | [0.30, 0.60] |
| 학습스트레스 | −3.47 | 1.26 | −.16 | −2.75 | .007 | [−5.97, −0.98] |
모형 2는 모형 1에 학습몰입과 학습스트레스를 더한 모형입니다. SPSS 32로 분석한 값입니다. 표의 R²는 소수 둘째 자리로 반올림했습니다(R² = .564, 수정 R² = .555).
- 계수 해석 — 각 계수는 다른 독립변수를 고정했을 때의 효과입니다. 학습몰입이 1점 오르면 시험점수가 평균 0.45점 높아집니다(다른 변수 고정).
- 변수 간 상대 크기 — Beta로 보면 학습몰입(.45)이 가장 크고, 주당학습시간(.28), 학습스트레스(−.16) 순입니다.
- 단순회귀와 비교 — 주당학습시간의 계수가 2.29에서 1.00으로 줄었습니다. 학습몰입이 학습시간과 겹치는 부분을 가져갔기 때문입니다.
- R² 변화량 — 변수 두 개를 더해 설명력이 .14 늘었고 이 증가가 유의합니다(F(2, 146) = 23.60, p < .001). 변수를 더하면 R²는 늘기만 하므로 수정 R²도 함께 봅니다.
3단계 · 가정 점검
| 점검 | 결과 | 판단 |
|---|---|---|
| 다중공선성(공차(Tolerance) / VIF) | .51 / 1.96, .53 / 1.88, .84 / 1.19 | 모두 작음(흔한 기준: VIF 5 또는 10 미만) |
| 오차의 독립성(Durbin-Watson) | 2.01 | 2에 가까워 문제 없음 |
| 잔차의 정규성(Shapiro-Wilk) | W = .995, p = .888 | 정규성을 의심할 이유 없음 |
| 표준화 잔차의 범위 | −2.54 ~ 2.39 | ±3을 넘는 사례 없음 |
계수 표의 공선성 통계량(Collinearity Statistics), 모형 요약의 Durbin-Watson 열에서 읽습니다. SPSS 32로 분석한 값이며, 잔차의 Shapiro-Wilk(W = .995)는 별도로 계산해 확인했습니다. VIF 기준은 문헌마다 다르므로 출처를 함께 적습니다.
- 잔차 그림 — *ZPRED 대비 *ZRESID 산점도에서 한쪽으로 퍼지는 모양(이분산성)이나 곡선 패턴(비선형)이 없는지 봅니다.
- 이상치·영향점 — 저장에서 Cook의 거리(Cook's distance) 등을 저장해 몇 개의 극단값이 계수를 크게 바꾸지 않는지 확인합니다.
- 표본 크기 — 독립변수당 필요한 사례 수 기준은 문헌마다 달라 출처를 함께 적습니다.
논문에 넣는 결과표 (APA 양식)
위·아래 선과 머리글 아래 선만 쓰는 APA 표 형식입니다. 통계 기호는 기울임꼴이고, 1을 넘을 수 없는 값(p, r, β, R²)은 영(0)을 생략했습니다. 투고할 학술지의 작성 지침이 다르면 지침을 따릅니다.
시험점수에 대한 회귀분석 결과(N = 150)
| 변수 | 모형 1 B | SE | β | 모형 2 B | SE | β |
|---|---|---|---|---|---|---|
| (상수) | 37.22*** | 2.29 | 36.28*** | 5.86 | ||
| 주당학습시간 | 2.29*** | 0.22 | .65 | 1.00*** | 0.27 | .28 |
| 학습몰입 | 0.45*** | 0.08 | .45 | |||
| 학습스트레스 | −3.47** | 1.26 | −.16 | |||
| R² | .42 | .56 | ||||
| 수정 R² | .42 | .56 | ||||
| F | 108.7*** | 63.04*** |
주. 왼쪽 3열은 모형 1(단순회귀), 오른쪽 3열은 모형 2(다중회귀)이다. df: 모형 1은 (1, 148), 모형 2는 (3, 146). **p < .01. ***p < .001.
표의 값은 가상 데이터를 SPSS 32로 분석한 값입니다.
논문에 쓰는 문장
주당학습시간, 학습몰입, 학습스트레스로 시험점수를 예측한 다중회귀모형은 유의하였고(F(3, 146) = 63.04, p < .001), 설명력은 R² = .56(수정 R² = .56)이었다. 학습몰입(β = .45, p < .001)과 주당학습시간(β = .28, p < .001)은 시험점수를 정적으로, 학습스트레스(β = −.16, p = .007)는 부적으로 유의하게 예측하였다.
문장의 숫자는 가상 데이터를 SPSS 32로 분석한 값입니다. 같은 데이터를 Jamovi로 분석한 결과는 Jamovi 13강에서 볼 수 있습니다.