같은 설문지를 사용했습니다.
같은 문항이고,
같은 분석 방법도 사용했습니다.
그런데 결과는
예전 연구와 다르게 나왔습니다.
이럴 때
많은 연구자들이 생각합니다.
“설문이 잘못된 건가?”
“분석을 다시 해야 하나?”
하지만
같은 설문이라도
결과가 달라지는 것은
생각보다 자연스러운 일입니다.
1️⃣ 응답자가 달라지면 결과도 달라집니다
가장 큰 이유입니다.
예를 들어
작년에는
3학년 위주로 조사했고,
올해는
1학년 응답이 많았다면 어떨까요?
같은 설문이라도
응답자의 특성이 달라지면
평균과 결과도 달라질 수 있습니다.
👉 설문보다
응답자가 바뀐 것입니다.
2️⃣ 조사 시점도 영향을 줍니다
사람의 생각은
시간에 따라 변합니다.
예를 들어
시험 기간과 방학,
취업 시즌과 학기 초는
스트레스 수준이 다를 수 있습니다.
같은 질문을 하더라도
언제 조사했는지에 따라
응답은 충분히 달라질 수 있습니다.
3️⃣ 표본 수와 구성도 중요합니다
응답자가 적으면
우연한 영향이 크게 나타날 수 있습니다.
반대로
응답자가 많더라도
특정 집단에 치우쳐 있다면
결과 역시 달라질 수 있습니다.
그래서 결과를 비교할 때는
표본 특성도 함께 확인해야 합니다.
4️⃣ 같은 설문이라도 응답 환경은 다를 수 있습니다
온라인 설문인지,
대면 설문인지,
휴대폰으로 응답했는지,
PC로 응답했는지에 따라서도
응답 방식이 조금씩 달라질 수 있습니다.
또한
설문 배포 방법이나
문항 순서가 달라져도
결과에 영향을 줄 수 있습니다.
5️⃣ 중요한 것은 ‘왜 달라졌는지’입니다
결과가 달라졌다고 해서
누군가의 연구가 틀린 것은 아닙니다.
오히려
왜 결과가 달라졌는지 분석하는 과정에서
새로운 의미를 발견할 수도 있습니다.
좋은 연구자는
결과가 같기를 기대하기보다
결과가 달라진 이유를 설명하려고 합니다.
🔥 핵심 정리
같은 설문이라고 해서
항상 같은 결과가 나오는 것은 아닙니다.
👉 응답자, 조사 시점, 표본 구성, 조사 환경이 달라지면 결과도 달라질 수 있습니다.
중요한 것은
결과가 달라졌다는 사실보다
그 이유를 설명하는 것입니다.
📌 이렇게 보면 됩니다
✔ 응답자가 달라질 수 있음
✔ 조사 시점도 영향
✔ 표본 구성 확인
✔ 응답 환경도 고려
✔ 결과보다 변화의 원인 분석
👀 많이 틀리는 포인트
같은 설문이면 결과도 같아야 한다고 생각하기 ❌
결과가 다르면 설문이 틀렸다고 판단하기 ❌
표본 특성 비교 안 하기 ❌
조사 시점 차이 무시하기 ❌
👉 좋은 연구자는
같은 결과를 기대하는 사람이 아니라, 결과가 달라진 이유까지 설명할 수 있는 사람입니다.
