① 논문에서 통계가 이상하게 나오는 이유
논문에서 통계가 이상하게 나오는 이유,
표본 때문이 아니라 문항 때문인 경우가 훨씬 많습니다.
설문을 많이 받는다고 좋은 데이터가 아닙니다.
‘덜 틀린 문항’을 만드는 게 먼저입니다.
② 한 문항에 질문 두 개 넣는 실수
❌ “우리 제품은 가격도 합리적이고 품질도 좋다”
이 문항은 응답자가 판단할 수 없습니다.
- 가격은 괜찮은데 품질은 별로면?
- 품질은 좋은데 가격은 비싸면?
응답자는 억지로 하나를 고르게 됩니다.
→ 데이터 왜곡 시작
✔ 이렇게 바꿔야 합니다
- 우리 제품의 가격은 합리적이다
- 우리 제품의 품질은 우수하다
문항은 한 번에 하나만 물어야 합니다
③ 응답자가 판단 못 하는 문항
❌ “우리 서비스는 체계적으로 운영된다”
응답자는 ‘체계적’의 기준을 모릅니다.
체계적이 뭔데요?
✔ 이렇게 바꿔야 합니다
- 업무 절차가 매뉴얼로 정리되어 있다
- 담당자가 명확히 구분되어 있다
- 처리 과정이 일정하게 유지된다
추상어를 쓰면 응답자는 감으로 체크합니다
④ 읽는 순간 피곤한 문항
❌ “우리 제품의 사용 과정이 복잡하지 않다고 느끼지 않는다”
이중부정은 응답자를 지치게 합니다.
읽다가 포기하고 대충 체크합니다.
✔ 이렇게 바꿔야 합니다
- 우리 제품은 사용 방법이 간단하다
문항은 읽는 순간 바로 이해되어야 합니다
⑤ 위험한 단어들
논문 설문에서 제일 많이 쓰이고, 제일 위험한 단어
- 적절하다
- 충분하다
- 좋다
- 만족스럽다
사람마다 기준이 전부 다릅니다.
✔ 이렇게 바꿔야 합니다
- 업무 처리 시간이 빠르다
- 필요한 정보를 쉽게 찾을 수 있다
- 다시 이용할 의향이 있다
판단이 아니라 ‘행동/상태’를 물어야 합니다
설문은 ‘많이’ 만드는 게 아닙니다.
덜 틀리게 만드는 것입니다.
문항 30개보다,
정확한 문항 15개가 훨씬 좋은 데이터를 만듭니다.
통계가 이상하게 나오기 전에, 문항부터 의심해보세요.
