연구 주제도 정했고,
선행연구도 충분히 읽었고,
문항도 열심히 만들었습니다.
그런데 마지막에 꼭 이런 생각이 듭니다.
“이 설문지… 진짜 괜찮은 걸까요?”
이때부터 설문은 ‘작성’이 아니라 ‘불안’이 됩니다.
- 문항이 너무 많은 건 아닌지
- 응답자가 이해하기 어려운 문장은 아닌지
- 척도는 5점이 맞는지, 7점이 맞는지
- 이 문항들이 정말 가설을 검증할 수 있는지
설문지를 거의 다 만들고 나서,
오히려 더 자신이 없어지는 순간입니다.
많은 대학원생들이 하는 착각 하나
“문항을 많이 넣을수록 연구가 탄탄해 보인다”
그래서 설문지가 점점 길어집니다.
하지만 실제 응답자는 이렇게 느낍니다.
“왜 이렇게 길어…”
“비슷한 질문을 계속 묻네…”
이 순간부터 불성실 응답이 생기기 시작합니다.
설문은 길수록 좋은 것이 아니라,
필요한 질문만 정확히 있는 것이 좋은 설문지입니다.
또 하나 많이 하는 실수
“선행연구 문항을 그대로 가져오면 안전하다”
그래서 논문에서 본 문항을 그대로 복사해옵니다.
그런데 문제가 생깁니다.
- 내 연구 맥락과 안 맞는 문장
- 우리나라 상황과 안 맞는 표현
- 응답자가 이해하기 어려운 추상적인 문구
이 상태로 설문을 돌리면
응답자는 ‘대충 읽고 대충 체크’하게 됩니다.
그리고 나중에 데이터가 이상해집니다.
설문에서 가장 중요한 건 ‘문항 수’도, ‘전문성’도 아닙니다
가장 중요한 것은 이것입니다.
응답자가 한 번에 이해할 수 있는 문장인가
설문은 연구자를 위한 것이 아니라, 응답자를 위한 도구이기 때문입니다.
설문지를 다 만들었을 때 꼭 확인해야 하는 체크리스트
설문을 배포하기 전에 이것만 점검해도 설문의 질이 달라집니다.
✔ 한 문장에 두 가지 질문이 들어가 있지 않은가
✔ 추상적인 단어(예: 충분히, 적절히, 전반적으로)를 남발하고 있지 않은가
✔ 비슷한 문항이 반복되고 있지 않은가
✔ 역문항이 너무 많지 않은가
✔ 응답자가 10분 안에 끝낼 수 있는 분량인가
이 과정을 거치면, 설문이 훨씬 ‘깔끔해집니다’.
그리고 많은 분들이 놓치는 부분 하나
“설문을 다 만들었으니 이제 배포하면 된다”
하지만 사실 설문에서 가장 중요한 건
설문 문항보다, 설문 구조입니다.
예를 들어,
- 투자자용과 직원용 설문이 섞여 있다면?
- 해당 없는 문항을 모두가 보게 된다면?
- 분기 문항 없이 모든 질문을 다 보게 된다면?
응답자는 금방 지칩니다.
그리고 불성실 응답이 늘어납니다.
그래서 설문은 ‘작성’보다 ‘정리’가 더 중요합니다
설문을 잘 만드는 사람의 특징은
문항을 많이 쓰는 사람이 아니라,
문항을 많이 지우는 사람입니다.
혹시 지금 설문지를 거의 다 만들었는데,
이게 맞는지 계속 고민하고 계신가요?
많은 대학원생분들이 이 단계에서 비슷한 고민을 합니다.
K-grad에서도 설문 문항, 척도, 문장 표현에 대한 이야기들이 자주 오가고 있습니다.
설문은 혼자 만들면 불안하고,
누군가와 한 번만 같이 보면 이상한 부분이 바로 보이기도 합니다.
혼자 계속 수정하고 계셨다면,
비슷한 고민을 해본 사람들의 이야기가 생각보다 도움이 될 수도 있습니다.
