설문지 만들 때, 처음엔 다들 이렇게 생각합니다.
이 정도면 충분히 물어본 것 같은데
다들 이런 문항 쓰니까 괜찮겠지
그래서 논문 몇 편 참고해서 문항 가져오고,
표현은 내 연구 맥락에 맞게 살짝 고치고,
빠진 것 같아서 질문 몇 개 더 추가합니다.
그런데 막상 분석 단계에 가면 문제가 터집니다.
- 요인분석이 안 묶이고
- 신뢰도는 기준 이하로 나오고
- 교수님은 “측정이 불안정하다”고 말합니다
이때 대부분 뒤늦게 깨닫습니다.
👉 설문지는 ‘질문지’가 아니라 ‘측정도구’라는 사실을요.
1️⃣ 설문지는 의견을 묻는 게 아니라, 개념을 측정하는 도구입니다
설문지는 “얼마나 그렇게 느끼는가”를 수치로 측정하기 위한 장치입니다.
그래서 대부분의 연구에서는 한 문항 = 한 개념이 아닙니다.
예를 들어볼게요.
- ❌ “이 브랜드를 얼마나 신뢰하십니까?”
- ⭕ 신뢰를 구성하는 여러 문항
- 이 브랜드는 약속을 지킨다
- 이 브랜드는 믿을 수 있다
- 이 브랜드는 소비자를 속이지 않는다
이렇게 여러 문항이 하나의 개념을 측정해야
요인분석도 되고, 신뢰도도 나옵니다.
👉 한 문항으로 모든 걸 묻겠다는 순간, 분석은 이미 어려워집니다.
2️⃣ 레퍼런스 문항을 ‘내 마음대로’ 바꾸는 순간, 문제가 시작됩니다
논문에서 가져온 문항들은 이미
- 타당도 검증
- 요인구조 확인
- 신뢰도 확보
이 과정을 다 거친 상태입니다.
그런데 여기서 초보 연구자들이 자주 하는 실수가 있어요.
- 긍정문을 부정문으로 바꾸기
- 문항 일부 삭제
- 5점 척도를 4점 척도로 변경
- 한 문항에 두 개 개념 섞기
이렇게 되면 결과는 거의 정해져 있습니다.
👉 요인 안 묶임 + 신뢰도 하락 + 가설 검증 불가
📌 문항을 수정했다면, 반드시 사전조사(pretest)가 필요하고
📌 가능하면 검증된 척도는 그대로 사용하는 게 가장 안전합니다
3️⃣ 분석이 되는 설문지의 핵심 원칙
설문지가 분석되려면, 최소한 이 원칙은 지켜야 합니다.
✔ 한 문항엔 하나의 의미만
- ❌ “이 제품은 편리하고 가격도 합리적이다”
- ⭕ “이 제품은 사용하기 편리하다”
- ⭕ “이 제품의 가격은 합리적이다”
✔ 애매한 표현 피하기
- ❌ 자주 / 꽤 / 어느 정도
- ⭕ 5점 척도 / 지난 1개월 기준
✔ 연구자 언어 말고, 응답자 언어로
- ❌ “본 서비스는 지각된 유용성이 높다”
- ⭕ “이 서비스는 나에게 도움이 된다고 느낀다”
✔ 분석 방법을 먼저 정해두기
- 요인분석 → 문항 수 충분한가?
- 회귀분석 → 척도 수준 맞는가?
- 집단 비교 → 집단 변수가 명확한가?
👉 설문지 만들기 전에 이미 분석은 시작된 상태여야 합니다.
4️⃣ 설문지는 ‘순서’도 결과를 좌우합니다
설문 문항은 아무렇게나 나열하면 안 됩니다.
응답자의 피로도와 방어감을 고려해야 해요.
기본 흐름은 이렇게 갑니다.
- 도입부: 연구 목적, 익명성, 소요 시간
- 워밍업 문항: 쉽고 가벼운 질문
- 핵심 변수 문항: 가장 중요한 부분
- 민감한 태도·평가 문항
- 인구통계 문항 (학력, 소득 등은 맨 마지막)
📌 인구통계부터 묻는 설문은 이탈률이 높아집니다.
📌 단, 응답자 선별용 문항은 앞에 올 수 있어요.
5️⃣ 설문지 완성 전, 꼭 스스로에게 물어보세요
- 이 문항은 분석에 실제로 쓰이나?
- 이 문항이 없으면 가설 검증이 안 되나?
- 이 문항을 빼도 논문에 영향이 없나?
👉 영향이 없다면, 과감하게 빼는 게 맞습니다.
설문지는 많이 묻는 게 아니라, 필요한 것만 정확하게 묻는 작업이에요.
마무리하며
설문지는 “아이디어를 적는 종이”가 아닙니다.
통계가 작동하게 만드는 구조물입니다.
잘 만든 설문지는
- 분석을 쉽게 만들고
- 해석을 명확하게 만들고
- 심사에서 불필요한 지적을 줄여줍니다.
설문지를 만드는 순간부터
이미 논문 결과는 절반쯤 정해져 있다는 말, 괜히 나온 말이 아니에요 🙂
