논문 설문조사를 준비하다 보면 설문지가 완성되는 순간 바로 응답자를 모집하고 싶어집니다.
특히 논문 일정이 촉박하면
“문항도 다 만들었고 링크도 잘 열리는데 그냥 시작하면 되지 않을까?”
라고 생각하기 쉽습니다.
하지만 설문지를 작성한 사람에게는 자연스러운 문장도 응답자에게는 전혀 다르게 이해될 수 있습니다.
응답 선택지가 빠져 있을 수도 있고, 설문 시간이 예상보다 길 수도 있습니다.
이런 문제를 본조사 전에 발견하기 위해 진행하는 것이 파일럿 테스트(Pilot Test), 즉 예비조사입니다.
1. 파일럿 테스트는 왜 필요할까요?
연구자가 설문지를 여러 번 검토했다고 해도 실제 응답자가 어떻게 받아들일지는 알기 어렵습니다.
예를 들어 연구자에게는 명확했던 문항이
“이 질문은 무슨 뜻인지 모르겠어요.”
라는 반응을 받을 수도 있습니다.
또 특정 문항에서 비슷한 선택지가 겹치거나, 필수 문항 설정 때문에 다음 페이지로 넘어가지 못하는 문제도 발생할 수 있습니다.
따라서 파일럿 테스트는 단순히 설문 링크가 작동하는지 확인하는 과정이 아닙니다.
실제 조사 환경에서 응답자가 설문을 제대로 이해하고 끝까지 응답할 수 있는지를 점검하는 과정이라고 보는 것이 좋습니다.
2. 파일럿 테스트는 몇 명에게 해야 할까요?
가장 많이 궁금해하는 부분입니다.
하지만 파일럿 테스트에 필요한 인원은 연구 목적에 따라 달라지기 때문에 무조건 몇 명이면 충분하다는 절대적인 기준은 없습니다.
단순히 문장의 이해도, 오탈자, 응답 흐름, 소요시간 등을 확인하려는 목적이라면 소수의 대상자를 통해서도 문제를 발견할 수 있습니다.
반면 예비 데이터를 활용해 문항의 신뢰도나 측정 특성까지 통계적으로 살펴보려는 목적이라면 더 많은 표본이 필요할 수 있습니다.
따라서 중요한 것은 숫자를 먼저 정하는 것이 아니라
“이번 예비조사에서 무엇을 확인하려는가?”를 먼저 정하는 것입니다.
3. 가능하면 실제 연구대상과 비슷한 사람에게 받아야 합니다
파일럿 테스트를 주변 지인에게 부탁하는 경우가 많습니다.
물론 설문 링크나 오탈자를 확인하는 정도라면 도움이 됩니다.
하지만 문항의 이해도를 제대로 확인하려면 실제 본조사 대상과 비슷한 특성을 가진 사람에게 테스트하는 것이 좋습니다.
예를 들어 연구대상이 직장인이라면 대학생에게만 테스트하기보다 실제 직장인이 문항을 어떻게 이해하는지 확인하는 편이 더 적절합니다.
전문용어나 특정 경험을 전제로 하는 설문이라면 더욱 중요합니다.
4. “설문 괜찮아요?”라고만 물으면 부족합니다
파일럿 테스트를 하고도
“설문 어땠어요?”
라고만 물으면 대부분
“괜찮았어요.”
라는 답이 돌아옵니다.
그래서 조금 더 구체적으로 확인하는 것이 좋습니다.
예를 들면 다음과 같습니다.
- 이해하기 어려웠던 문항이 있었는가?
- 비슷하거나 반복된다고 느낀 문항이 있었는가?
- 선택지 중 자신의 상황에 맞는 답이 없었던 문항이 있었는가?
- 설문을 완료하는 데 얼마나 걸렸는가?
- 중간에 응답을 그만두고 싶었던 부분이 있었는가?
- 모바일에서도 문항과 선택지가 정상적으로 보였는가?
이런 질문을 해야 본조사 전에 실제로 수정할 부분을 발견하기 쉽습니다.
5. 특히 ‘조건 분기’가 있다면 직접 끝까지 테스트해야 합니다
온라인 설문조사에서는 응답 조건에 따라 다른 질문으로 이동하도록 설정하는 경우가 있습니다.
예를 들어
“최근 1년 이내 해당 서비스를 이용한 경험이 있습니까?”
에서 ‘예’를 선택한 사람과 ‘아니오’를 선택한 사람이 서로 다른 문항으로 이동할 수 있습니다.
이런 경우에는 가능한 응답 경로를 각각 직접 테스트해보는 것이 중요합니다.
잘못 설정하면 조사 대상자가 아닌 사람이 본 문항에 응답하거나, 반대로 필요한 대상자가 중간에 종료될 수도 있습니다.
본조사가 이미 진행된 뒤 발견하면 기존 응답 데이터에도 영향을 줄 수 있습니다.
본조사 전에 이것만큼은 확인해보세요 ✅
□ 설문 링크가 PC와 모바일에서 정상적으로 열리는가?
□ 필수 응답과 선택 응답 설정이 올바른가?
□ 조건에 따른 문항 이동이 제대로 작동하는가?
□ 이해하기 어렵거나 애매한 문항은 없는가?
□ 응답 선택지가 빠진 문항은 없는가?
□ 실제 설문 소요시간은 어느 정도인가?
□ 연구대상과 비슷한 사람이 문항을 자연스럽게 이해하는가?
특히 본조사가 시작된 뒤 문항이나 응답 선택지를 변경하면 변경 전·후 응답의 조건이 달라질 수 있기 때문에, 가능하면 조사 시작 전에 충분히 확인하는 것이 좋습니다.
마무리
논문 설문조사에서는 응답자를 많이 모집하는 것만큼 본조사 전에 설문이 제대로 작동하는지 확인하는 과정도 중요합니다.
작은 오류 하나라도 수백 명의 응답이 쌓인 뒤 발견하면 수정하기가 훨씬 까다로워질 수 있습니다.
더브레인에서도 설문조사를 진행할 때는 최종 설문지와 조사 조건을 바탕으로 응답자 모집과 데이터 수집이 진행되기 때문에, 본조사에 들어가기 전 연구자가 문항과 조건을 충분히 검토해두는 것이 좋습니다.
파일럿 테스트는 형식적인 사전 확인이 아니라,
본조사에서 발생할 수 있는 문제를 가장 저렴하고 빠르게 발견할 수 있는 점검 단계입니다.
