상관분석에서는 두 변수의 관계가 꽤 높게 나왔습니다.
p값도 유의해서
당연히 회귀분석에서도
유의하게 나올 거라고 생각했습니다.
그런데 막상 회귀분석을 돌려보니
해당 변수의 p값이 .05보다 커졌습니다.
“상관이 이렇게 높은데 왜 회귀에서는 유의하지 않지?”
분석이 잘못된 것이 아니라,
상관분석과 회귀분석이 서로 다른 질문에 답하고 있기 때문일 수 있습니다.
1️⃣ 상관분석은 두 변수의 관계를 봅니다
상관분석에서는 기본적으로
두 변수가 얼마나 함께 움직이는지를 확인합니다.
예를 들어
직무스트레스가 높을수록
이직의도도 높게 나타났다면
두 변수 사이에 양의 상관관계가
나타날 수 있습니다.
📌 이때는 다른 변수들의 영향을 통제하지 않고
두 변수 사이의 관계 자체를 보는 것입니다.
따라서 높은 상관이 나타났다는 것은
두 변수가 관련되어 있다는 의미이지,
회귀분석에서도 반드시 유의하다는 의미는 아닙니다.
2️⃣ 회귀분석에서는 다른 변수들을 함께 고려합니다
회귀분석에
직무스트레스뿐 아니라
직무소진, 직무만족, 조직몰입 등을
함께 넣었다고 해보겠습니다.
이때 직무스트레스의 회귀계수는
단순히 이직의도와의 관계만 보여주는 것이 아닙니다.
다른 독립변수들을 함께 고려한 상태에서도
직무스트레스가 이직의도를 추가적으로 설명하는지를 확인하게 됩니다.
👉 그래서 상관분석에서는 관계가 강했어도
회귀분석에서는 영향력이 작아질 수 있습니다.
3️⃣ 독립변수끼리 서로 비슷하면 결과가 달라질 수 있습니다
특히 확인해야 할 것이
독립변수들 사이의 관계입니다.
예를 들어
직무스트레스와 직무소진이
서로 매우 높은 상관을 가지고 있다면
두 변수가 종속변수의 비슷한 부분을
설명하고 있을 수 있습니다.
이렇게 설명하는 부분이 많이 겹치면
회귀분석에서는
각 변수만의 고유한 영향력을
분리해서 추정하기 어려워질 수 있습니다.
📌 이 경우에는 독립변수 간 상관관계와 함께
VIF, 공차한계 등을 통해 다중공선성 문제도 확인해볼 필요가 있습니다.
4️⃣ 표준오차가 커지면 p값도 달라질 수 있습니다
회귀분석에서 유의성을 판단할 때는
회귀계수의 크기만 보는 것이 아닙니다.
계수에 비해
표준오차가 얼마나 큰지도
함께 영향을 미칩니다.
독립변수끼리 서로 강하게 관련되어 있으면
각 변수의 효과를 구분하기 어려워지면서
표준오차가 커질 수 있습니다.
그러면 t값이 작아지고
결과적으로 p값이 커져
유의하지 않게 나타날 수도 있습니다.
👉 따라서 상관계수 r이 높다는 이유만으로 회귀분석의 p값까지 작을 것이라고 예상해서는 안 됩니다.
5️⃣ 두 분석 결과가 다르다면 그 차이를 확인해야 합니다
상관분석에서는 유의했는데
회귀분석에서는 유의하지 않다면
둘 중 하나가 틀렸다고 판단하기보다
왜 결과가 달라졌는지 살펴봐야 합니다.
🔎 어떤 변수들이 회귀모형에 함께 들어갔는지
🔎 독립변수끼리 높은 상관이 있는지
🔎 회귀계수가 얼마나 변했는지
🔎 표준오차와 VIF는 어떤지
등을 차례로 확인해볼 수 있습니다.
이 과정은 오히려
변수들 사이의 관계를 더 정확하게 이해하는 단서가 될 수 있습니다.
🔥 핵심 정리
상관분석에서 관계가 높다고 해서
회귀분석에서도 반드시
유의하게 나타나는 것은 아닙니다.
👉 상관분석은 두 변수의 관계를 보는 반면, 다중회귀분석은 다른 변수들을 함께 고려한 상태에서 각 독립변수의 고유한 설명력을 살펴보기 때문입니다.
📌 이렇게 보면 됩니다
✔ 상관계수와 회귀계수를 같은 의미로 해석하지 않기
✔ 회귀모형에 함께 들어간 변수 확인
✔ 독립변수 간 상관관계 확인
✔ VIF·공차한계 등 다중공선성 점검
✔ 계수뿐 아니라 표준오차·t값·p값 함께 확인
👀 많이 틀리는 포인트
상관이 높으면 회귀분석도 무조건 유의하다고 생각하기 ❌
상관계수 r과 회귀계수 β를 같은 값처럼 해석하기 ❌
독립변수끼리의 상관관계를 확인하지 않기 ❌
회귀분석에서 p값만 보고 변수를 바로 제외하기 ❌
👉 상관분석과 회귀분석의 결과가 다르다면 분석이 틀렸다고 보기보다,
다른 변수들을 함께 고려했을 때 그 관계가 어떻게 달라졌는지를 확인하는 것이 먼저입니다.
