연구를 시작할 때 자주 하는 말이 있습니다.
설문 먼저 만들어서 돌려보고, 결과 나오면 그때 분석 생각해볼게요.
얼핏 보면 자연스러운 순서 같지만,
이 방식은 나중에 분석 단계에서 반드시 막히는 구조를 만들어냅니다.
설문은 데이터를 모으는 단계가 아니라,
분석을 가능하게 만드는 설계 단계이기 때문입니다.
1️⃣ 분석은 설문 이후가 아니라, 설문 이전에 시작됩니다
회귀분석을 할 계획이라면
이미 설문을 만들 때부터 독립변수, 종속변수, 통제변수가 무엇인지 정해져 있어야 합니다.
요인분석을 할 계획이라면
이미 다문항 척도로 문항이 구성되어 있어야 합니다.
집단 비교를 할 계획이라면
이미 집단을 나눌 기준 문항이 설문에 들어 있어야 합니다.
그런데 설문을 먼저 만들고 분석을 나중에 고민하면,
이 필수 조건들이 빠진 채 데이터만 쌓이게 됩니다.
2️⃣ 설문 문항이 많다고 좋은 설문은 아닙니다
초보 연구자일수록 이런 생각을 하게 됩니다.
“혹시 모르니까 이것도 넣고, 저것도 넣고…”
그 결과,
- 분석에 쓰이지 않는 문항
- 가설과 관련 없는 문항
- 해석할 수 없는 문항
이 설문지에 가득 차게 됩니다.
설문은 많이 묻는 것이 아니라,
필요한 것만 정확하게 묻는 것이 핵심입니다.
3️⃣ 가장 흔한 실수: ‘응답자 친화적’ 설문을 만들려다 분석이 망가진다
응답자가 헷갈릴까 봐
- 척도를 줄이고
- 표현을 바꾸고
- 문항을 합치고
이렇게 수정하다 보면
통계적으로 측정이 불가능한 설문이 됩니다.
설문은 응답자가 이해하기 쉬워야 하지만,
통계적으로 측정 가능해야 하는 것이 우선입니다.
4️⃣ 설문은 ‘흐름’도 중요합니다
좋은 설문지는 단순히 문항이 좋은 것이 아니라,
응답자의 심리적 흐름까지 고려되어 있습니다.
- 쉬운 문항으로 시작
- 핵심 변수는 집중도가 높은 중반부
- 민감한 문항은 뒤로
- 인구통계는 맨 마지막
이 흐름이 깨지면 이탈률이 높아지고,
결과적으로 데이터 품질이 낮아집니다.
5️⃣ 설문 완성 전에 반드시 해야 하는 체크
설문이 완성되었다고 생각될 때,
이 질문을 반드시 해보셔야 합니다.
- 이 문항은 어떤 분석에 쓰이는가?
- 이 문항이 없으면 가설 검증이 불가능한가?
- 이 문항은 정말 ‘측정’을 하고 있는가?
여기에 답이 애매하다면,
그 문항은 과감히 빼는 것이 맞습니다.
✔️ 왜 이런 문제가 반복될까요?
설문을 ‘질문지’로 생각하기 때문입니다.
하지만 설문은
이론적 개념을 수치로 바꾸는 측정 장치입니다.
질문을 만드는 관점이 아니라,
변수를 만드는 관점으로 접근해야 합니다.
✨ 정리
✔️ 설문 전에 이미 분석은 시작되어 있어야 한다
✔️ 설문 문항 수가 아니라, 분석과의 연결성이 중요하다
✔️ 응답자 친화성보다 측정 가능성이 우선이다
✔️ 필요 없는 문항은 과감히 제거해야 한다
설문을 잘 만들면,
데이터를 보는 순간 분석 방향이 보입니다.
설문을 잘못 만들면, 아무리 많은 데이터를 모아도 분석은 시작조차 어렵습니다.
