— 많은 연구자들이 빠지는 함정
설문조사를 처음 설계할 때 흔히 이런 생각을 하게 됩니다.
“문항이 많을수록 더 정확하게 측정할 수 있지 않을까?”
“혹시 빠뜨린 내용이 있으면 어떡하지?”
그래서 설문 문항을 계속 추가하다 보면
어느 순간 설문지가 50문항, 70문항이 되어 있기도 합니다.
하지만 설문 문항은
많을수록 좋은 것이 아닙니다.
1️⃣ 문항이 많아질수록 응답 피로가 커집니다
응답자가 설문을 진행할 때
초반에는 비교적 집중해서 응답합니다.
하지만 문항이 길어질수록 다음과 같은 현상이 나타납니다.
- 응답 속도가 급격히 빨라짐
- 같은 번호로 계속 응답
- 문항을 제대로 읽지 않음
이것을 응답 피로(response fatigue)라고 합니다.
문항이 많아질수록
데이터의 질이 오히려 떨어질 수 있습니다.
2️⃣ 중요한 것은 문항 수보다 ‘문항의 질’입니다
좋은 설문은
많은 문항을 포함한 설문이 아니라
핵심 개념을 정확하게 측정하는 문항으로 구성된 설문입니다.
예를 들어
직무만족을 측정할 때
20개의 문항이 반드시 필요한 것은 아닙니다.
이론적으로 잘 검증된
4~5개의 문항만으로도
충분히 안정적인 측정이 가능합니다.
3️⃣ 문항 수가 많다고 신뢰도가 높아지는 것은 아닙니다
일반적으로 문항 수가 늘어나면
Cronbach’s α 값이 올라가는 경향이 있습니다.
하지만 이것이 반드시
좋은 측정을 의미하는 것은 아닙니다.
비슷한 문항을 반복적으로 넣으면
신뢰도는 높아 보일 수 있지만
실제 정보는 크게 늘어나지 않을 수 있습니다.
이 경우 설문은 길어지고
응답자는 지치게 됩니다.
4️⃣ 설문 길이는 연구 목적에 맞게 조정해야 합니다
설문 문항 수는 다음 요소들을 함께 고려해야 합니다.
- 측정하려는 개념의 수
- 각 변수당 필요한 문항 수
- 응답자의 설문 참여 환경
- 예상 소요 시간
일반적으로 온라인 설문에서는
10~15분 이내로 설문이 끝나는 것이
응답 품질을 유지하는 데 도움이 됩니다.
정리
설문조사의 목적은
많은 질문을 하는 것이 아니라
정확한 데이터를 얻는 것입니다.
문항 수를 늘리는 것보다 중요한 것은
- 핵심 개념을 명확하게 정의하고
- 검증된 문항을 사용하며
- 응답자가 부담 없이 참여할 수 있는 설문을 설계하는 것입니다.
설문 설계에서 가장 중요한 질문은
“얼마나 많이 물어볼까?”가 아니라
“이 문항이 정말 필요한가?”입니다.
