설문조사가 끝난 뒤 데이터를 검수하다 보면
유독 응답시간이 짧은 사람들이 눈에 띕니다.
다른 응답자들은 평균 7분 정도 걸렸는데
어떤 응답자는 2분 만에 설문을 완료한 경우입니다.
이런 데이터를 발견하면
‘문항을 제대로 읽지 않은 건 아닐까?’
‘무작위로 답변한 건 아닐까?’
라는 의심이 들 수 있습니다.
실제로 지나치게 짧은 응답시간은
불성실 응답을 의심할 수 있는 단서 중 하나입니다.
하지만 응답시간이 짧다는 이유만으로 해당 응답을 무조건 삭제하는 것은 적절하지 않을 수 있습니다.
1️⃣ 응답시간이 짧다고 모두 불성실한 것은 아닙니다
같은 설문조사에 참여하더라도
모든 응답자가 비슷한 시간에
설문을 완료하는 것은 아닙니다.
문항을 읽는 속도나
질문에 대한 이해도,
조사 주제에 대한 익숙함 등이
서로 다르기 때문입니다.
예를 들어 평소 자주 사용하는
SNS 서비스에 관한 설문이라면
관련 경험이 많은 응답자는
질문을 빠르게 이해하고 답변할 수 있습니다.
반대로 익숙하지 않은 주제라면
같은 문항이라도 답변하는 데
더 많은 시간이 필요할 수 있습니다.
📌 응답시간은 응답 품질을 확인하는 참고 지표이지, 불성실 응답을 확정하는 기준은 아닙니다.
2️⃣ 설문 구조에 따라 필요한 시간이 달라집니다
응답시간을 검수할 때는
설문지의 구조도 함께 확인해야 합니다.
예를 들어 30개 문항으로 구성된
설문조사가 있다고 해보겠습니다.
그런데 모든 응답자가
30개 문항에 답변하는 것은 아닐 수 있습니다.
특정 서비스를 이용한 경험이 없는 응답자는
관련 문항을 건너뛰도록 설정되어 있다면
실제로 답변하는 문항 수가 줄어듭니다.
이 경우 다른 응답자보다
설문을 빠르게 완료하는 것이
자연스러울 수 있습니다.
또한 단순한 객관식 문항이 많은 설문과
긴 지문을 읽거나 주관식 답변을 작성해야 하는 설문은
필요한 응답시간이 다릅니다.
👉 응답시간을 비교할 때는 전체 설문 길이뿐 아니라 실제로 응답한 문항 수와 분기 구조까지 고려해야 합니다.
3️⃣ 평균 응답시간보다 짧다는 이유만으로 삭제해서는 안 됩니다
데이터를 검수할 때
평균 응답시간을 기준으로
불성실 응답을 판단하는 경우가 있습니다.
예를 들어 평균 응답시간이 8분이라면
4분 이하의 응답을 모두
삭제해야 한다고 생각할 수 있습니다.
하지만 평균보다 빠르게 응답했다는 사실만으로
해당 응답이 잘못되었다고 볼 수는 없습니다.
응답시간의 분포가 한쪽으로 치우쳐 있거나
일부 응답자가 설문을 오래 열어두었다면
평균 자체가 실제 응답시간을
대표하지 못할 수도 있습니다.
따라서 평균뿐 아니라
중앙값과 응답시간의 분포,
극단적으로 짧은 응답이 어느 정도인지도
함께 살펴보는 것이 좋습니다.
📌 모든 설문에 동일하게 적용할 수 있는 절대적인 응답시간 기준은 없으며, 조사 특성에 맞는 판단이 필요합니다.
4️⃣ 응답시간과 응답 패턴을 함께 확인해야 합니다
응답시간이 짧은 데이터를 발견했다면
다른 품질 지표도 함께 살펴보는 것이 좋습니다.
예를 들어 다음과 같은 경우입니다.
🔎 응답시간이 비정상적으로 짧은 경우
🔎 여러 문항에 동일한 번호만 반복해서 선택한 경우
🔎 앞뒤 문항의 답변이 논리적으로 충돌하는 경우
🔎 조사 대상 조건과 실제 응답 내용이 일치하지 않는 경우
🔎 주의력 확인 문항에 부적절하게 응답한 경우
이러한 특징이 여러 개 함께 나타난다면
해당 응답을 추가로 검토할 필요가 있습니다.
다만 동일한 번호를 반복해서 선택했거나
주의력 확인 문항 하나를 틀렸다는 이유만으로도
무조건 불성실 응답이라고 단정해서는 안 됩니다.
각 지표의 의미와 한계를 고려해야 합니다.
👉 응답시간 하나로 판단하기보다 여러 품질 지표를 종합적으로 확인하는 것이 중요합니다.
5️⃣ 삭제 기준은 일관되게 적용해야 합니다
응답시간을 기준으로 데이터를 제외하려면
어떤 경우에 제외할 것인지
명확한 기준이 필요합니다.
예를 들어 설문을 정상적으로 읽고
응답하기 어려울 정도로
짧은 시간이 기록된 경우를
검토 대상으로 설정할 수 있습니다.
이때 중요한 것은
분석 결과를 확인한 뒤
연구자에게 유리한 방향으로
삭제 기준을 변경하지 않는 것입니다.
특히 특정 응답을 제외했을 때
가설이 유의하게 나타난다는 이유로
해당 데이터를 삭제하는 것은
연구 결과의 신뢰성을 떨어뜨릴 수 있습니다.
가능하다면 조사 설계 단계에서
응답시간과 품질 검수 기준을 정하고,
실제 적용한 기준과 제외 인원을
기록해두는 것이 좋습니다.
필요한 경우 응답을 제외하기 전후의
분석 결과를 비교해
결론이 얼마나 달라지는지도
확인할 수 있습니다.
📌 데이터 삭제는 원하는 결과를 만들기 위한 과정이 아니라, 타당한 기준에 따라
🔥 핵심 정리
응답시간이 지나치게 짧다면
불성실 응답의 가능성을
검토할 필요가 있습니다.
하지만 응답시간은
응답자의 이해도와 응답 속도,
설문 문항 수와 분기 구조 등
다양한 요인의 영향을 받을 수 있습니다.
따라서 응답시간만으로
응답의 성실성을 판단하기보다는
다른 품질 지표와 함께 검토해야 합니다.
👉 중요한 것은 빠르게 응답한 사람을 찾아 삭제하는 것이 아니라, 실제로 분석에 적합하지 않은 응답을 타당한 근거로 구분하는 것입니다.
📌 이렇게 보면 됩니다
✔ 평균뿐 아니라 응답시간의 전체 분포 확인하기
✔ 실제 응답 문항 수와 설문 분기 구조 고려하기
✔ 지나치게 짧은 응답은 우선 검토 대상으로 분류하기
✔ 응답 패턴과 논리적 일관성 함께 점검하기
✔ 명확한 제외 기준을 설정하고 일관되게 적용하기
👀 많이 틀리는 포인트
평균 응답시간보다 짧으면 무조건 삭제하기 ❌
모든 설문에 동일한 시간 기준 적용하기 ❌
설문 분기 구조를 고려하지 않고 응답시간 비교하기 ❌
가설이 유의하게 나오도록 응답 제외 기준 변경하기 ❌
👉 응답시간은 설문 데이터의 품질을 확인하는 데 유용한 정보입니다.
하지만 응답시간이 짧다는 사실과 불성실하게 응답했다는 판단은 구분해야 합니다.
좋은 데이터 검수는 의심스러운 응답을 많이 삭제하는 것이 아니라, 타당한 기준으로 확인이 필요한 응답을 찾아내고 신중하게 판단하는 과정입니다.
