회귀분석을 진행하다 보면
분석 결과뿐 아니라 여러 가지 가정을
확인해야 한다는 이야기를 듣게 됩니다.
정규성, 독립성, 선형성 등
확인해야 할 항목이 많지만,
그중에서도 자주 등장하는 것이 바로 등분산성입니다.
그런데 잔차 그래프를 확인했더니
특정 구간에서 잔차가 넓게 퍼져 있거나,
등분산성 검정 결과에서
통계적으로 유의한 값이 나타났다면 어떨까요?
이럴 때는 자연스럽게 이런 생각이 듭니다.
“등분산성 가정을 만족하지 못하면 회귀분석을 다시 해야 할까?”
“지금까지 나온 회귀계수와 p값은 모두 잘못된 걸까?”
“데이터를 수정하거나 변수를 삭제해야 하는 걸까?”
하지만 등분산성이 충족되지 않았다고 해서
기존 분석 결과를 무조건 폐기해야 하는 것은 아닙니다.
중요한 것은 등분산성이 왜 충족되지 않았는지 확인하고, 그 문제가 통계적 추론에 어떤 영향을 미치는지 판단하는 것입니다.
1️⃣ 등분산성은 무엇을 의미할까요?
등분산성(Homoscedasticity)은
회귀분석에서 설명변수의 값이 달라지더라도
오차의 분산이 일정하다는 가정을 의미합니다.
쉽게 말해 독립변수의 값이 작을 때나 클 때나
오차가 퍼져 있는 정도가
비슷해야 한다는 것입니다.
예를 들어 소득 수준에 따라
월평균 소비금액이 어떻게 달라지는지
분석한다고 해보겠습니다.
소득이 낮은 집단에서는
실제 소비금액이 예측값 주변에
비교적 좁게 분포하지만,
소득이 높은 집단에서는
소비금액의 차이가 훨씬 크게 나타날 수 있습니다.
이처럼 설명변수의 값에 따라
오차의 분산이 달라지는 현상을
이분산성(Heteroscedasticity)이라고 합니다.
이분산성이 나타나면
일반적인 회귀분석에서 사용하는
표준오차의 계산이 적절하지 않을 수 있습니다.
📌 등분산성은 모든 응답자의 값이 비슷해야 한다는 의미가 아니라, 설명변수의 조건에 따른 오차의 분산이 일정해야 한다는 가정입니다.
2️⃣ 등분산성이 깨지면 무엇이 문제일까요?
등분산성 가정이 충족되지 않았다고 해서
회귀계수 자체가 반드시 잘못되는 것은 아닙니다.
일반적인 최소제곱법(OLS) 회귀분석에서는
외생성 등 필요한 조건이 충족된다면
이분산성이 존재하더라도
회귀계수가 불편성을 유지할 수 있습니다.
하지만 문제가 되는 부분은
표준오차(Standard Error)입니다.
표준오차는 추정된 회귀계수가
얼마나 불확실한지를 판단하는 데
사용되는 값입니다.
그런데 이분산성이 존재하는 상황에서
등분산성을 가정한 표준오차를 사용하면
표준오차가 실제보다 작거나 크게
계산될 수 있습니다.
이로 인해 t값과 p값,
신뢰구간의 해석에도
문제가 발생할 수 있습니다.
예를 들어 실제보다 표준오차가 작게 추정되면
통계적으로 유의하지 않은 관계가
유의한 것처럼 나타날 가능성도 있습니다.
반대로 표준오차가 크게 추정되면
유의성이 낮아질 수도 있습니다.
👉 이분산성의 핵심 문제는 회귀계수가 무조건 틀린다는 것이 아니라, 기존 표준오차를 이용한 통계적 검정이 부정확해질 수 있다는 점입니다.
3️⃣ 강건 표준오차는 어떤 역할을 할까요?
이분산성이 확인되었을 때
검토할 수 있는 방법 중 하나가
강건 표준오차(Robust Standard Errors)입니다.
강건 표준오차는
일반적인 등분산성 가정이 충족되지 않더라도
표준오차를 보다 적절하게 추정하기 위해
사용하는 방법입니다.
대표적으로 이분산성에 강건한
Huber–White 계열의 표준오차가 있습니다.
예를 들어 다음과 같은 분석 결과가 있다고 해보겠습니다.
| 구분 | 회귀계수(B) | 표준오차 | p값 |
|---|---|---|---|
| 일반 OLS 표준오차 | 0.42 | 0.15 | 0.005 |
| 강건 표준오차 적용 | 0.42 | 0.22 | 0.056 |
위 수치는 설명을 위한 가상의 예시입니다.
두 분석에서 회귀계수는
동일하게 0.42로 나타났습니다.
하지만 표준오차가 달라지면서
p값도 달라졌습니다.
이는 강건 표준오차가
회귀계수를 직접 수정하는 방법이 아니라
계수의 불확실성을 추정하는 방식을
조정하기 때문입니다.
다만 강건 표준오차를 사용한다고 해서
모든 통계적 문제가 해결되는 것은 아닙니다.
표본 크기가 작거나,
모형 자체가 잘못 설정되었거나,
관측치 사이에 상관관계가 존재한다면
추가적인 검토가 필요합니다.
📌 강건 표준오차는 이분산성으로 인해 발생할 수 있는 표준오차 추정 문제를 완화하는 방법이지, 잘못된 연구모형을 자동으로 수정하는 방법은 아닙니다.
4️⃣ 강건 표준오차를 적용하기 전에 확인할 것이 있습니다
등분산성 가정이 충족되지 않았다고 해서
무조건 강건 표준오차부터 적용하는 것은
적절하지 않을 수 있습니다.
먼저 이분산성이 나타나는 이유를
살펴볼 필요가 있습니다.
예를 들어 잔차 그래프에서
특정 구간의 잔차가 크게 퍼져 있다면
다음과 같은 가능성을 검토할 수 있습니다.
🔎 독립변수와 종속변수의 관계가 비선형적인지
🔎 중요한 설명변수가 모형에서 누락되었는지
🔎 일부 이상치나 영향점이 결과에 영향을 주는지
🔎 특정 집단에 따라 오차의 분산이 달라지는지
🔎 종속변수의 척도나 분포가 분석 방법에 적합한지
특히 모형의 함수 형태가 잘못 설정되었다면
강건 표준오차만 적용해서는
근본적인 문제를 해결하기 어렵습니다.
또한 강건 표준오차에도
HC0, HC1, HC2, HC3 등
여러 가지 추정 방식이 존재합니다.
이 중 HC3는 일부 소표본 상황에서
검토할 수 있는 방법이지만,
모든 자료에서 항상 가장 적절한 것은 아닙니다.
그리고 동일한 학교나 기업에 속한 응답자처럼
관측치가 집단 내에서 서로 관련되어 있다면
일반적인 이분산성 강건 표준오차보다
군집 강건 표준오차(Cluster-Robust Standard Errors) 등의 방법이
더 적합할 수 있습니다.
👉 이분산성을 발견했다면 표준오차를 수정하기 전에 연구모형과 데이터 구조부터 확인하는 것이 좋습니다.
5️⃣ 등분산성이 깨졌다면 분석 결과를 어떻게 보고해야 할까요?
등분산성 가정이 충족되지 않은 경우
연구자는 이를 숨기거나
유의한 결과가 나오는 분석만
선택해서는 안 됩니다.
먼저 잔차 그래프와 필요한 진단 방법을 통해
이분산성 여부를 검토하고,
연구자료에 적합한 대응 방법을
선택해야 합니다.
이때 Breusch–Pagan 검정이나
White 검정 등을 참고할 수 있지만,
검정 결과만으로 모든 상황을
판단하기보다는 잔차의 분포와
모형의 특성을 함께 살펴보는 것이 좋습니다.
또한 연구목적과 자료의 특성에 따라
강건 표준오차뿐 아니라
변수 변환이나 가중최소제곱법(WLS) 등의
대안도 검토할 수 있습니다.
다만 변수 변환은
분석 결과의 해석 단위를 바꿀 수 있으며,
가중최소제곱법은 적절한 가중치 설정이 필요합니다.
논문에서는 어떤 문제를 확인했고,
어떤 방법으로 대응했는지
명확하게 설명하는 것이 중요합니다.
예를 들어 다음과 같이 작성할 수 있습니다.
“잔차 진단 결과 이분산성의 가능성이 확인되어, 회귀계수에 대한 통계적 추론의 신뢰성을 높이기 위해 이분산성에 강건한 표준오차를 적용하였다.”
단, 실제 논문에서는 사용한 진단 방법과
강건 표준오차의 종류,
분석 결과를 구체적으로 제시하는 것이 좋습니다.
📌 등분산성 위반 자체보다 중요한 것은 문제를 어떻게 진단하고 대응했는지 투명하게 보고하는 것입니다.
🔥 핵심 정리
등분산성이 충족되지 않았다고 해서
회귀분석을 무조건 처음부터
다시 해야 하는 것은 아닙니다.
이분산성이 존재하더라도
일정한 조건에서는 회귀계수의
불편성이 유지될 수 있습니다.
하지만 일반적인 표준오차가
부정확하게 추정될 수 있기 때문에
통계적 유의성과 신뢰구간을
해석할 때 주의가 필요합니다.
이때 강건 표준오차는
검토할 수 있는 대응 방법 중 하나입니다.
다만 이분산성이 발생한 원인과
연구모형의 적절성,
자료의 구조까지 함께 확인해야 합니다.
👉 등분산성 가정이 깨졌을 때 중요한 것은 분석을 무조건 폐기하는 것이 아니라, 통계적 추론에 어떤 문제가 발생했는지 확인하고 적절한 방법으로 대응하는 것입니다.
📌 이렇게 보면 됩니다
✔ 잔차 그래프와 진단 방법을 통해 이분산성 확인하기
✔ 회귀계수와 표준오차에 미치는 영향 구분하기
✔ 모형 설정 오류와 이상치 여부 함께 점검하기
✔ 자료 특성에 맞는 강건 표준오차 또는 대안 검토하기
✔ 적용한 분석 방법과 결과를 논문에 명확하게 보고하기
👀 많이 틀리는 포인트
등분산성이 깨졌다는 이유만으로 회귀계수가 모두 잘못되었다고 판단하기 ❌
강건 표준오차를 적용하면 모든 회귀분석 문제가 해결된다고 생각하기 ❌
잔차 그래프와 모형의 특성을 확인하지 않고 검정 결과만으로 판단하기 ❌
유의한 결과를 얻기 위해 일반 표준오차와 강건 표준오차 중 하나를 임의로 선택하기 ❌
👉 등분산성은 회귀분석 결과를 해석할 때 확인해야 하는 중요한 가정입니다.
하지만 가정이 충족되지 않았다는 사실만으로 연구 결과 전체가 무의미해지는 것은 아닙니다.
결국 중요한 것은 등분산성 위반 여부를 확인하는 데서 끝나는 것이 아니라, 그 문제가 표준오차와 통계적 추론에 어떤 영향을 미치는지 이해하고 적절하게 대응하는 것입니다.
