설문조사를 다 끝냈습니다.
응답도 충분히 받았고, 표본 수도 나쁘지 않습니다.
그런데…
요인분석이 묶이지 않고,
신뢰도가 낮게 나오고,
회귀분석 결과도 어딘가 애매합니다.
이럴 때 가장 먼저 떠올리는 생각이 있습니다.
표본 수가 부족했나…?
하지만 놀랍게도, 이런 상황의 원인은 표본 수가 아닌 경우가 훨씬 많습니다.
문제는 이미 데이터를 모은 이후가 아니라, 설문을 설계하던 그 순간에 만들어져 있는 경우가 대부분입니다.
1️⃣ 설문은 ‘질문’이 아니라 ‘측정’입니다
많은 연구자분들이 설문지를 만들 때
무엇을 묻고 싶은가?에 집중합니다.
하지만 통계분석이 가능한 설문은
무엇을 측정할 것인가에서 출발해야 합니다.
예를 들어,
❌ “이 서비스 만족하세요?”
✔️ 만족을 구성하는 여러 문항(기대, 성과, 전반 만족)
❌ “이 브랜드 신뢰하세요?”
✔️ 신뢰를 구성하는 하위 차원 문항들
한 문항으로 개념을 묻는 순간,
요인분석도, 신뢰도도, 회귀분석도 제대로 작동하지 않습니다.
2️⃣ 레퍼런스 문항을 ‘내 스타일’로 바꾸면 생기는 일
기존 논문에서 가져온 검증된 문항을 이렇게 바꾸는 경우가 많습니다.
- 긍정문 → 부정문으로 변경
- 문항 일부 삭제
- 5점 척도 → 4점 척도로 변경
- 표현을 ‘더 이해하기 쉽게’ 수정
의도는 좋지만, 이 순간부터
이미 검증된 척도가 깨지기 시작합니다.
그 결과가 바로,
- 요인이 안 묶임
- 신뢰도 낮음
- 가설 검증 불가능입니다.
3️⃣ 한 문항에 두 가지를 묻고 있지 않나요?
아주 흔한 실수입니다.
이 제품은 사용하기 편리하고 가격도 합리적이다
응답자는 무엇에 답해야 할까요?
편리함인가요? 가격인가요?
이런 문항은 응답을 분산시키고,
결과적으로 통계적으로 의미 없는 값이 됩니다.
4️⃣ 분석 방법을 정하지 않고 설문부터 만든 경우
이 경우도 정말 많습니다.
- 요인분석을 해야 하는데 단일 문항들만 있음
- 회귀분석을 해야 하는데 척도가 뒤섞여 있음
- 집단 비교를 해야 하는데 집단 변수가 애매함
설문을 만들기 전에 이미 분석은 시작되어 있어야 합니다.
5️⃣ 그래서 이런 일이 생깁니다
표본 300명인데도 분석이 흔들립니다.
표본 500명인데도 결과가 이상합니다.
이건 표본 수의 문제가 아니라,
측정 구조의 문제입니다.
설문이 측정도구가 아니라 질문지로 만들어졌기 때문입니다.
✔️ 설문 설계 전 반드시 스스로에게 물어봐야 할 질문
- 이 문항은 어떤 변수로 쓰일 것인가?
- 이 문항이 빠지면 가설 검증이 가능한가?
- 이 문항은 ‘측정’을 하고 있는가, ‘질문’을 하고 있는가?
이 질문에 답하지 못한다면, 설문은 다시 설계해야 합니다.
✨ 정리
✔️ 표본 수가 충분한데 분석이 안 되는 이유는 설문 설계에 있다
✔️ 한 문항은 하나의 의미만 담아야 한다
✔️ 검증된 문항은 최소 수정 원칙을 지켜야 한다
✔️ 설문을 만들기 전에 분석 방법을 먼저 결정해야 한다
설문은 데이터를 모으는 과정이 아니라,
분석을 가능하게 만드는 설계 과정입니다.
설문지를 잘 만들면,
분석은 놀랄 만큼 쉬워집니다.
