논문 통계분석을 진행하다 보면
예상하지 못한 결과를 마주할 때가 있습니다.
처음에는 독립변수와 종속변수 사이에
통계적으로 유의한 관계가 나타났는데,
성별이나 연령, 소득과 같은 통제변수를
추가했더니 유의하지 않게 바뀌는 경우입니다.
분명 처음 분석에서는
유의확률이 0.05보다 작았는데
통제변수를 넣은 뒤에는
0.05보다 크게 나타난 것입니다.
이럴 때는 자연스럽게 이런 생각이 듭니다.
“통제변수를 잘못 넣은 걸까요?”
“처음에 나온 결과는 의미가 없었던 걸까요?”
“유의하지 않게 바뀌었으니 통제변수를 빼야 할까요?”
하지만 통제변수를 추가한 뒤
분석 결과가 달라지는 것은
반드시 분석이 잘못되었다는 의미는 아닙니다.
오히려 처음에 확인했던 변수 간 관계를 다른 요인까지 고려하여 다시 살펴보는 과정에서 나타날 수 있는 결과입니다.
1️⃣ 통제변수는 다른 요인의 영향을 고려하기 위해 사용합니다
연구에서는 독립변수와 종속변수의 관계를
확인하는 경우가 많습니다.
예를 들어 다음과 같은 연구를 생각해보겠습니다.
SNS 이용 시간 → 충동구매 성향
연구자는 SNS 이용 시간이 길수록
충동구매 성향이 높아지는지
확인하고자 합니다.
그런데 충동구매 성향에는
SNS 이용 시간 외에도
다양한 요인이 관련되어 있을 수 있습니다.
예를 들어 연령이나 소득 수준,
평소 쇼핑 빈도 등이
SNS 이용 시간과 충동구매 성향 모두에
관련되어 있을 가능성이 있습니다.
이러한 요인을 고려하지 않으면
SNS 이용 시간과 충동구매 성향 사이에서
나타난 관계를 해석하는 데
어려움이 생길 수 있습니다.
따라서 연구자는 관련 요인을
통제변수로 포함해 분석할 수 있습니다.
📌 통제변수는 연구에서 관심 있는 관계를 다른 관련 요인까지 고려한 상태에서 살펴보기 위해 사용하는 변수입니다.
2️⃣ 처음 나타난 관계에 다른 변수의 영향이 섞여 있을 수 있습니다
통제변수를 추가했을 때
결과가 달라지는 대표적인 이유 중 하나는
처음 확인한 관계에 다른 변수와의
관련성이 포함되어 있었기 때문입니다.
예를 들어 다음과 같은 상황을 가정해보겠습니다.
연구자가 SNS 이용 시간과
충동구매 성향의 관계를 분석했더니
통계적으로 유의한 정(+)의 관계가 나타났습니다.
그런데 분석 과정에서
평소 쇼핑 빈도라는 변수를 추가하자
SNS 이용 시간의 회귀계수가 작아지고
통계적으로 유의하지 않게 바뀌었습니다.
이러한 결과는
처음 관찰된 관계의 일부가
평소 쇼핑 빈도와 관련되어 있었을
가능성을 보여줍니다.
즉, SNS 이용 시간 자체의 관계라고
생각했던 부분에
다른 변수와의 관련성이 포함되어 있었을 수 있습니다.
다만 통제변수를 추가했다고 해서
그 변수가 실제 원인이라는 사실까지
확인되는 것은 아닙니다.
👉 통제 전에는 유의했던 관계가 통제 후 약해졌다면, 다른 변수와의 관련성이 처음 결과에 포함되어 있었는지 검토할 필요가 있습니다.
3️⃣ 회귀계수가 줄어든 것과 유의성이 사라진 것은 다릅니다
제변수를 추가한 뒤
유의확률이 0.05보다 커졌다고 해서
독립변수의 효과가 완전히 사라졌다고
해석하는 것은 주의해야 합니다.
예를 들어 다음과 같은 분석 결과가 있다고 해보겠습니다.
| 구분 | 회귀계수(B) | p값 |
|---|---|---|
| 통제변수 투입 전 | 0.35 | 0.012 |
| 통제변수 투입 후 | 0.18 | 0.087 |
위 수치는 설명을 위한 가상의 예시입니다.
통제변수를 추가한 뒤
회귀계수가 0.35에서 0.18로 감소했고,
p값은 0.012에서 0.087로 증가했습니다.
이 경우 통제변수를 포함한 모형에서는
일반적인 유의수준 0.05를 기준으로
통계적으로 유의한 관계가 확인되지 않았다고
설명할 수 있습니다.
하지만 이것이 곧
관계가 전혀 존재하지 않는다는 뜻은 아닙니다.
또한 통계적 유의성은
회귀계수의 크기뿐 아니라
표준오차와 표본 크기 등의 영향을 받습니다.
따라서 회귀계수와 p값뿐 아니라
신뢰구간도 함께 확인하는 것이 좋습니다.
📌 유의하지 않다는 결과는 효과가 없다는 증명이 아니라, 해당 분석에서 설정한 유의수준을 충족하는 통계적 근거를 얻지 못했다는 의미입니다.
4️⃣ 통제변수끼리의 높은 상관관계도 영향을 줄 수 있습니다
통제변수를 추가했을 때
결과가 달라지는 또 다른 이유는
독립변수와 통제변수 사이의
높은 상관관계 때문일 수 있습니다.
예를 들어 SNS 이용 시간과
SNS 이용 빈도를
동시에 회귀모형에 포함했다고 해보겠습니다.
두 변수는 서로 밀접하게
관련되어 있을 가능성이 있습니다.
이처럼 설명변수들 사이의
상관관계가 높으면
각 변수가 종속변수와 갖는
고유한 관계를 추정하기 어려워질 수 있습니다.
이를 다중공선성 문제라고 합니다.
다중공선성이 심한 경우
회귀계수의 표준오차가 커지면서
통계적 유의성이 낮아질 수 있습니다.
따라서 통제변수를 추가한 뒤
결과가 크게 달라졌다면
변수 간 상관관계와
분산팽창계수(VIF) 등을
함께 확인하는 것이 좋습니다.
다만 VIF가 높다고 해서
해당 변수를 무조건 삭제해야 하는 것은 아닙니다.
연구의 이론적 근거와
변수의 역할을 함께 검토해야 합니다.
👉 통제변수를 많이 넣는다고 항상 더 좋은 분석이 되는 것은 아니며, 변수 간 관계와 모형의 적절성을 함께 확인해야 합니다.
5️⃣ 통제변수는 결과를 보고 임의로 넣거나 빼면 안 됩니다
통제변수를 추가했더니
유의했던 결과가 사라졌다면
해당 변수를 빼고 싶은 마음이 들 수 있습니다.
하지만 원하는 결과를 얻기 위해
통제변수를 임의로 제외하는 것은
적절하지 않습니다.
통제변수는 분석 결과를 확인한 뒤
유의성에 따라 선택하기보다
연구목적과 이론적 근거,
선행연구를 바탕으로 설정하는 것이 좋습니다.
특히 주의할 점은
모든 관련 변수를 통제해야 하는 것은
아니라는 사실입니다.
예를 들어 독립변수가 종속변수에
영향을 미치는 과정에 있는 매개변수를
통제하면 연구자가 확인하려는
전체 관계의 일부가 제외될 수 있습니다.
또한 변수 간 인과구조에 따라서는
특정 변수를 통제하는 것이
오히려 편향을 발생시킬 수도 있습니다.
따라서 통제변수를 선택할 때는
다음 내용을 검토해야 합니다.
🔎 해당 변수를 통제해야 하는 이론적 근거가 있는지
🔎 독립변수와 종속변수에 어떤 관련성이 있는지
🔎 매개변수 등 다른 역할을 하는 변수는 아닌지
🔎 통제변수 추가 전후 회귀계수와 신뢰구간이 어떻게 달라졌는지
🔎 다중공선성이나 표본 수 변화가 발생했는지
특히 통제변수에 결측값이 존재한다면
분석에 포함되는 응답자 수가 달라질 수도 있습니다.
이 경우 결과의 변화가
통제변수 자체 때문인지,
분석 표본이 달라진 영향도 있는지
확인할 필요가 있습니다.
📌 통제변수는 통계적으로 유의한 결과를 만들기 위한 도구가 아니라, 연구에서 설정한 관계를 적절하게 분석하기 위한 요소입니다.
🔥 핵심 정리
통제변수를 추가한 뒤
기존에 유의했던 결과가
유의하지 않게 바뀌는 이유는 다양합니다.
처음 관찰된 관계에
다른 변수와의 관련성이 포함되어 있었을 수도 있고,
설명변수 간 높은 상관관계로 인해
표준오차가 증가했을 수도 있습니다.
또한 통제변수를 추가하면서
분석에 사용되는 표본이 달라졌을 가능성도 있습니다.
따라서 결과가 달라졌다는 사실만으로
분석이 잘못되었다고 판단해서는 안 됩니다.
중요한 것은 회귀계수와 유의확률,
신뢰구간, 변수 간 관계 등을
종합적으로 확인하는 것입니다.
👉 통제변수를 추가한 뒤 결과가 달라졌다면, 왜 달라졌는지 검토하는 과정 자체가 중요한 연구 해석이 될 수 있습니다.
📌 이렇게 보면 됩니다
✔ 통제변수의 이론적 근거 먼저 확인하기
✔ 통제 전후 회귀계수와 p값 비교하기
✔ 신뢰구간과 표준오차 함께 살펴보기
✔ 다중공선성과 분석 표본 변화 점검하기
✔ 유의한 결과를 얻기 위해 통제변수를 임의로 제외하지 않기
👀 많이 틀리는 포인트
통제변수를 추가했더니 유의하지 않다고 분석이 잘못되었다고 판단하기 ❌
p값이 0.05보다 커졌다는 이유로 효과가 완전히 없다고 단정하기 ❌
통제변수를 많이 포함할수록 무조건 정확한 분석이라고 생각하기 ❌
원하는 결과가 나오도록 통제변수를 임의로 추가하거나 삭제하기 ❌
👉 통제변수를 추가했을 때 분석 결과가 달라지는 것은 연구에서 충분히 나타날 수 있는 현상입니다.
중요한 것은 유의성이 유지되었는지가 아니라, 다른 요인을 고려했을 때 변수 간 관계가 어떻게 달라졌는지 정확하게 해석하는 것입니다.
결국 통제변수의 역할은 원하는 결과를 유지하는 것이 아니라, 연구자가 확인하려는 관계를 더 신중하게 검토하도록 돕는 데 있습니다.
