통계분석에서 세 집단 이상의 평균을 비교할 때 자주 사용하는 방법이 ANOVA(분산분석)입니다.
SPSS에서 일원배치 분산분석을 실행하고 결과표를 확인했는데, 유의확률이 .05보다 작게 나왔다면 다음과 같이 생각하기 쉽습니다.
“집단 간 차이가 있다는 뜻이니까 분석이 끝난 거 아닌가요?”
“그런데 왜 사후검정을 또 해야 하죠?”
여기서 중요한 점이 있습니다.
ANOVA는 집단 간 평균 차이가 전반적으로 존재하는지를 검정하지만, 구체적으로 어떤 집단과 어떤 집단 사이에 차이가 있는지는 알려주지 않습니다.
따라서 분석 결과를 정확하게 해석하려면 사후검정(Post-hoc Test)이 필요한 경우가 있습니다.
이번 글에서는 ANOVA와 사후검정의 차이, SPSS 결과표 확인 방법, 논문 작성 시 주의할 점을 정리해보겠습니다.
1. ANOVA는 무엇을 확인하는 분석일까요?
ANOVA는 Analysis of Variance의 약자로, 일반적으로 세 집단 이상의 평균 차이를 검정할 때 사용하는 분산분석입니다.
예를 들어 근무 형태에 따라 직무만족도에 차이가 있는지 확인한다고 가정해보겠습니다.
- A집단: 사무실 근무자
- B집단: 재택근무자
- C집단: 혼합근무자
각 집단의 직무만족도 평균을 비교하고 싶다면 일원배치 분산분석(One-way ANOVA)을 활용할 수 있습니다.
ANOVA의 귀무가설은 다음과 같습니다.
H0: 세 집단의 모집단 평균은 모두 같다.
반대로 대립가설은 적어도 한 집단의 평균이 다른 집단과 다르다는 것입니다.
즉, ANOVA에서 유의한 결과가 나왔다면 모든 집단의 평균이 동일하다는 가설을 기각할 근거가 있다는 의미입니다.
하지만 여기서 한 가지 의문이 생깁니다.
A와 B가 다른 것인지, B와 C가 다른 것인지, 아니면 A와 C가 다른 것인지는 ANOVA 결과만으로 알 수 없습니다.
2. ANOVA가 유의해도 사후검정이 필요한 이유
세 집단의 평균이 다음과 같다고 가정해보겠습니다.
| 집단 | 직무만족도 평균 |
|---|---|
| A집단 | 3.20 |
| B집단 | 3.80 |
| C집단 | 4.10 |
ANOVA 결과가 통계적으로 유의하게 나타났다면 집단 간 평균 차이가 존재한다는 사실을 확인할 수 있습니다.
그렇다면 실제로 어떤 집단 사이에서 차이가 발생했을까요?
가능한 비교는 다음과 같습니다.
- A집단과 B집단
- A집단과 C집단
- B집단과 C집단
이처럼 집단별 차이를 구체적으로 확인하는 과정이 사후검정입니다.
예를 들어 분석 결과 A와 B, A와 C 사이에서는 유의한 차이가 나타났지만 B와 C 사이에서는 유의한 차이가 나타나지 않을 수 있습니다.
따라서 ANOVA는 전체적인 차이를 확인하고, 사후검정은 구체적으로 차이가 나타나는 집단을 확인하는 과정이라고 이해하면 쉽습니다.
3. 사후검정에는 어떤 방법이 있을까요?
사후검정에는 여러 가지 방법이 있으며, 데이터의 특성과 연구설계에 따라 적절한 방법을 선택해야 합니다.
대표적인 방법은 다음과 같습니다.
① Tukey HSD
모든 집단 간 쌍별 비교에 활용되는 대표적인 사후검정 방법입니다.
집단 간 분산이 같다는 가정을 충족하는 경우 고려할 수 있습니다.
② Scheffé
다양한 집단 간 비교를 폭넓게 검토할 수 있는 방법입니다.
비교의 유연성이 높은 대신 다른 일부 사후검정에 비해 보수적인 결과가 나타날 수 있습니다.
③ Bonferroni
여러 번의 비교로 인해 발생할 수 있는 제1종 오류를 조정하는 방법입니다.
비교 횟수가 많아질수록 유의수준을 조정하는 방식으로 이해할 수 있습니다.
④ Games-Howell
집단 간 분산이 동일하지 않거나 표본 수가 서로 다른 상황에서 고려할 수 있는 사후검정 방법입니다.
특히 등분산 가정이 충족되지 않는 경우 Tukey HSD를 무조건 적용하기보다 Games-Howell 등의 방법을 검토하는 것이 좋습니다.
중요한 것은 특정 사후검정이 항상 더 좋다는 것이 아니라 연구자료의 특성과 분석 가정에 맞는 방법을 선택하는 것입니다.
4. SPSS에서는 어떤 순서로 확인해야 할까요?
SPSS에서 일원배치 분산분석을 실행했다면 일반적으로 다음 순서로 결과를 확인하면 됩니다.
첫째, 기술통계량을 확인합니다.
집단별 평균과 표준편차, 표본 수를 확인합니다.
어느 집단의 평균이 상대적으로 높은지 먼저 살펴보는 과정입니다.
둘째, 등분산성 검정을 확인합니다.
Levene 검정을 통해 집단 간 분산이 동일하다고 볼 수 있는지 확인합니다.
일반적으로 유의확률이 .05보다 크면 등분산 가정을 기각할 근거가 부족하다고 해석합니다.
반대로 .05보다 작으면 등분산 가정이 충족되지 않을 가능성을 고려해야 합니다.
셋째, ANOVA 결과를 확인합니다.
F값과 자유도(df), 유의확률(p값)을 확인합니다.
일반적으로 설정한 유의수준에서 p값이 .05보다 작다면 집단 간 평균 차이가 통계적으로 유의하다고 판단할 수 있습니다.
넷째, 적절한 사후검정을 확인합니다.
등분산 가정이 충족되는지 여부와 연구설계에 따라 적절한 방법을 선택하고, 각 집단 간 비교 결과를 확인합니다.
5. 등분산 가정이 충족되지 않으면 어떻게 해야 할까요?
ANOVA를 진행할 때 놓치기 쉬운 부분이 바로 등분산 가정입니다.
일반적인 일원배치 ANOVA는 집단 간 분산이 동일하다는 가정을 전제로 합니다.
그런데 Levene 검정에서 유의확률이 .05보다 작게 나타났다면 등분산 가정이 충족되지 않을 가능성을 고려해야 합니다.
이때 일반적인 ANOVA 결과만을 그대로 해석하기보다는 Welch ANOVA와 같은 대안을 검토할 수 있습니다.
Welch ANOVA는 집단 간 분산이 동일하지 않은 상황에서 평균 차이를 검정하기 위한 방법입니다.
Welch ANOVA 결과가 유의하다면 사후 비교에서는 Games-Howell 등을 고려할 수 있습니다.
즉, 등분산 가정이 충족되지 않았다고 해서 무조건 분석을 중단해야 하는 것은 아닙니다.
데이터의 특성에 맞는 분석 방법을 선택하는 것이 중요합니다.
6. 사후검정 결과는 논문에 어떻게 작성할까요?
가상의 분석 결과를 예로 들어보겠습니다.
연구주제
근무 형태에 따른 직무만족도 차이
ANOVA 결과
F(2, 147) = 5.82, p = .004
사후검정 결과
- A집단과 B집단: 유의한 차이
- A집단과 C집단: 유의한 차이
- B집단과 C집단: 유의한 차이 없음
이 경우 다음과 같이 작성할 수 있습니다.
근무 형태에 따른 직무만족도의 차이를 확인하기 위해 일원배치 분산분석을 실시하였다. 분석 결과, 근무 형태에 따른 직무만족도는 통계적으로 유의한 차이가 있는 것으로 나타났다(F(2, 147) = 5.82, p = .004). 사후검정 결과 A집단은 B집단 및 C집단과 유의한 차이를 보였으나, B집단과 C집단 간에는 유의한 차이가 나타나지 않았다.
이처럼 ANOVA 결과만 제시하는 것보다 사후검정 결과를 함께 설명하면 어떤 집단 사이에서 차이가 발생했는지 명확하게 전달할 수 있습니다.
※ 위 수치는 이해를 돕기 위한 가상의 예시입니다.
ANOVA와 사후검정 확인 체크리스트 ✅
- 세 집단 이상의 평균을 비교하는 연구인가?
- 집단별 표본 수와 평균, 표준편차를 확인했는가?
- 등분산성 검정 결과를 확인했는가?
- 연구자료에 적합한 ANOVA 방법을 선택했는가?
- 전체 검정 결과와 사후검정 결과를 구분했는가?
- 등분산 여부에 적합한 사후검정 방법을 선택했는가?
- 어떤 집단 사이에서 차이가 발생했는지 확인했는가?
- 논문 본문에 F값, 자유도, p값과 사후검정 결과를 정확하게 반영했는가?
특히 사후검정 방법은 결과를 확인한 뒤 유리한 결과가 나오는 방식으로 선택해서는 안 됩니다. 연구설계와 분석 가정에 근거하여 결정해야 합니다.
마무리
ANOVA에서 통계적으로 유의한 결과가 나왔다고 해서 분석이 모두 끝난 것은 아닙니다.
전체 집단 간 평균 차이가 존재한다는 사실을 확인했다면, 연구목적에 따라 어떤 집단 사이에서 차이가 나타났는지도 살펴볼 필요가 있습니다.
이때 활용하는 것이 사후검정입니다.
더브레인에서도 논문 통계분석을 진행할 때 분석 결과의 유의성뿐 아니라 등분산 가정과 사후검정 결과까지 함께 확인하는 과정이 중요합니다.
특히 논문에 통계표를 작성할 때는 ANOVA 결과와 사후검정 결과를 구분하여 제시해야 해석의 정확도를 높일 수 있습니다.
ANOVA는 집단 간 평균 차이가 전반적으로 존재하는지를 확인하고, 사후검정은 구체적으로 어떤 집단과 어떤 집단 사이에 차이가 있는지를 확인하는 분석 과정입니다.
