논문 통계분석에서 회귀분석을 진행하다 보면 결과표에서 낯선 숫자를 만나게 됩니다.
바로 VIF(Variance Inflation Factor, 분산팽창지수)입니다.
처음에는 p값과 β값만 확인하다가 교수님이나 통계 관련 자료에서 이런 이야기를 접하기도 합니다.
“다중공선성은 확인했나요?”
“VIF 값도 확인해보세요.”
그런데 VIF는 왜 확인해야 하고, 값이 높으면 무엇이 문제일까요?
회귀분석을 제대로 해석하려면 생각보다 중요한 부분입니다.\
1. 다중공선성이란 무엇일까요?
회귀분석에서는 여러 독립변수가 하나의 종속변수에 어떤 영향을 미치는지 함께 살펴보는 경우가 많습니다.
예를 들어 직무성과에 영향을 미치는 요인으로
- 직무만족
- 조직몰입
- 업무동기
를 동시에 투입했다고 해보겠습니다.
그런데 독립변수끼리 지나치게 강한 관계를 가지고 있다면 문제가 생길 수 있습니다.
쉽게 말해 SPSS 입장에서는
“직무성과에 영향을 준 게 직무만족 때문인가, 조직몰입 때문인가?”
를 명확하게 구분하기 어려워지는 것입니다.
이러한 문제를 다중공선성(Multicollinearity)이라고 합니다.
2. VIF는 무엇을 보여주는 값일까요?
다중공선성을 확인할 때 대표적으로 살펴보는 지표가 VIF입니다.
VIF가 커질수록 해당 독립변수가 다른 독립변수들과 강하게 연관되어 있을 가능성을 살펴볼 필요가 있습니다.
흔히 논문에서는
VIF가 10 미만인지를 확인하는 기준이 많이 사용되고,
보다 엄격하게는 5 미만을 기준으로 판단하는 경우도 있습니다.
다만 이것 역시 모든 연구에 적용되는 절대적인 합격선이라기보다는 연구 분야와 분석 상황을 함께 고려해야 하는 기준입니다.
3. VIF와 함께 ‘공차한계’도 확인합니다
SPSS 회귀분석에서는 VIF와 함께 공차(Tolerance)도 확인할 수 있습니다.
두 지표는 서로 관련되어 있습니다.
VIF = 1 / Tolerance
이기 때문에,
VIF가 높아질수록 공차는 낮아집니다.
일반적으로 공차가 지나치게 낮게 나타난다면 독립변수 간 중복성이 높은 것은 아닌지 확인하게 됩니다.
따라서 논문에서 다중공선성을 보고할 때도 VIF 하나만 제시하기보다 공차한계와 함께 확인하는 경우가 많습니다.
4. 다중공선성이 높으면 실제로 뭐가 문제일까요?
이 부분이 핵심입니다.
다중공선성이 있다고 해서 SPSS가 분석을 못 하는 것은 아닙니다.
결과표도 정상적으로 나올 수 있습니다.
문제는 각 독립변수의 개별적인 영향력을 안정적으로 추정하기 어려워질 수 있다는 것입니다.
예를 들어
A와 B라는 변수가 사실상 매우 비슷한 정보를 담고 있다면,
A의 β값이 예상보다 작아지거나
계수의 방향이 예상과 다르게 나타나거나
통계적 유의성이 달라지는 등의 현상이 나타날 수 있습니다.
그래서 회귀분석 결과가 나왔다고 바로 해석하기보다 다중공선성 여부를 먼저 확인하는 것입니다.
5. 상관계수가 높으면 무조건 변수를 삭제해야 할까요?
여기서 또 하나 조심해야 합니다.
독립변수 간 상관관계가 높거나 VIF가 예상보다 크게 나타났다고 해서 무조건 변수 하나를 삭제하는 것은 적절하지 않습니다.
먼저 확인해야 할 것은
- 두 변수가 이론적으로 서로 다른 개념인지
- 측정 문항이 지나치게 유사하지 않은지
- 변수 구성이나 코딩에 오류가 없는지
- 연구모형에서 두 변수를 동시에 투입해야 하는 근거가 있는지
등입니다.
특히 통계값을 낮추기 위해 연구모형에서 중요한 변수를 임의로 제거하면 오히려 연구의 이론적 근거가 약해질 수 있습니다.
6. VIF가 높게 나왔다면 이렇게 확인해보세요
당황해서 회귀분석을 계속 다시 돌리기보다 순서대로 살펴보는 것이 좋습니다.
□ 독립변수 간 상관관계가 지나치게 높지는 않은가?
□ VIF와 공차한계는 어떻게 나타났는가?
□ 변수 코딩 과정에 오류는 없는가?
□ 서로 지나치게 유사한 문항으로 구성된 변수는 없는가?
□ 두 변수가 이론적으로 명확하게 구분되는가?
□ 연구모형에 해당 변수를 함께 포함한 근거가 충분한가?
이 과정을 확인한 뒤 문제의 원인을 판단해야 합니다.
회귀분석은 p값만 보면 부족합니다
논문에서 회귀분석을 하면 가장 먼저 p값을 확인하기 쉽습니다.
하지만 실제로는
R², 회귀계수, β, t, p, VIF, 공차한계 등 여러 결과를 함께 살펴봐야 합니다.
특히 다중회귀분석에서는 여러 독립변수를 동시에 사용하기 때문에 변수끼리 서로 얼마나 겹치는지 확인하는 과정도 중요합니다.
더브레인에서도 논문 통계분석을 진행할 때 단순히 유의한 결과가 나왔는지만 보는 것이 아니라 연구모형과 데이터에 적절한 분석 결과인지 함께 확인하는 과정이 중요합니다.
마무리
VIF는 결과표 한쪽에 작게 표시되는 숫자라 처음에는 중요하지 않아 보일 수 있습니다.
하지만 다중회귀분석에서는 각 독립변수의 영향력을 제대로 구분해서 해석할 수 있는지 확인하는 중요한 단서가 됩니다.
따라서 VIF가 높게 나왔다면 단순히 숫자를 낮추려고 변수를 삭제하기보다,
왜 독립변수끼리 강하게 관련되어 있는지부터 확인하는 것이 우선입니다.
회귀분석에서 VIF가 높다는 것은 단순히 ‘통계가 잘못됐다’는 뜻이 아니라,
독립변수들이 서로 너무 비슷한 정보를 설명하고 있지는 않은지 점검해야 한다는 신호입니다.
