회귀분석을 돌리다 보면
이상한 경험을 하게 됩니다.
- 변수 하나 추가했는데 계수가 바뀌고
- 다른 변수 넣었더니 방향이 바뀌고
- 유의했다가 갑자기 유의하지 않게 되는 경우
이때 드는 생각은 보통 이겁니다.
👉 “이거 왜 계속 바뀌지…?”
1️⃣ 계수는 ‘고정된 값’이 아닙니다
많이 하는 오해입니다.
“계수는 원래 하나로 정해진다” ❌
회귀계수는
👉 모형 안에 어떤 변수가 들어가느냐에 따라 달라지는 값입니다.
💡 즉, 상대적인 값
2️⃣ 가장 큰 이유: 변수 간 영향 (공선성)
변수들이 서로 영향을 주고 있으면
👉 계수가 흔들립니다
예:
- A와 B가 비슷한 정보를 담고 있을 때
👉 설명이 나눠짐
👉 계수 변화
💡이게 바로 다중공선성
3️⃣ 변수 하나 추가했을 때 바뀌는 이유
변수를 추가하면
기존 변수의 역할이 바뀝니다.
원래 A가 설명하던 부분을
👉 새 변수 C가 가져갈 수도 있음
그래서
- 계수 크기 변화
- 방향 변화
- 유의성 변화
👉 전부 자연스러운 현상
4️⃣ 이런 경우 특히 많이 흔들립니다
✔ 변수들 간 상관이 높을 때
✔ 설명 변수가 많을 때
✔ 표본 수가 적을 때
✔ 변수 정의가 애매할 때
⚠️ 이때는 모형이 불안정해지기 쉬움
5️⃣ 방향이 바뀌는 경우도 있습니다
이건 더 당황스럽습니다.
👉 정(+) → 음(-)으로 바뀌는 경우
이럴 때는 보통
- 숨겨진 변수 영향
- 억제효과(suppression effect)
- 공선성
⚠️ 이런 구조적 문제가 있을 가능성
6️⃣ 많이 하는 실수
👉 결과 고정하려고 변수 조정 ❌
👉 마음에 드는 결과 나올 때까지 반복 ❌
👉 계수 바뀌는 걸 오류로 생각 ❌
👉 이건 분석이 아니라 결과 맞추기
7️⃣ 어떻게 접근해야 할까요
계수가 바뀌면
👉 “왜 바뀌었는지” 봐야 합니다
✔ 변수 간 관계 확인
✔ VIF 확인
✔ 모형 비교
👉 변화 자체가 해석 포인트
👀 많이 틀리는 포인트
계수 고정하려고 하기 ❌
결과 맞추기 ❌
변화 무시하기 ❌
👉 다 위험
📌 이렇게 보면 됩니다
- 변수 추가 → 계수 변화 (자연스러움)
- 방향 변화 → 구조 확인 필요
- 반복 변화 → 모형 점검
👉 핵심은 “이해”
