온라인 설문조사가 끝난 뒤 데이터를 확인하다 보면 유독 응답시간이 짧은 사람이 눈에 띕니다.
평균적으로 8~10분 정도 걸리는 설문인데 어떤 응답자는 2~3분 만에 끝냈다면 자연스럽게 의심이 생깁니다.
“문항을 제대로 읽은 게 맞을까?”
“이 응답은 그냥 제외해야 하나?”
응답시간은 데이터 품질을 확인할 때 활용할 수 있는 중요한 정보입니다.
하지만 응답시간 하나만으로 불성실 응답을 확정하는 것은 조심해야 합니다.
1. 응답시간이 짧다고 모두 불성실 응답은 아닙니다
사람마다 설문에 응답하는 속도는 다릅니다.
문장을 빠르게 읽는 사람도 있고, 연구주제에 익숙해 문항을 바로 이해하는 사람도 있습니다.
반대로 응답시간이 길다고 해서 반드시 성실한 것도 아닙니다.
설문을 열어놓은 채 다른 일을 했다가 다시 응답했다면 실제 문항을 읽은 시간보다 훨씬 길게 기록될 수도 있습니다.
따라서
빠른 응답 = 불성실
느린 응답 = 성실
처럼 단순하게 구분하기는 어렵습니다.
2. 그렇다면 응답시간은 왜 확인할까요?
응답시간 자체가 삭제 기준이라기보다 추가 검토가 필요한 응답을 발견하는 단서가 될 수 있기 때문입니다.
예를 들어 대부분의 응답자가 7~12분 정도 걸렸는데 한 사람이 50초 만에 수십 개의 문항을 완료했다면 한 번쯤 데이터를 자세히 살펴볼 필요가 있습니다.
이때 중요한 것은
“50초니까 삭제”
가 아니라
“왜 이렇게 빨랐는지 다른 응답 패턴도 함께 확인”
하는 것입니다.
3. 같은 번호만 반복했는지도 함께 확인합니다
불성실 응답을 검토할 때 자주 확인하는 것이 Straight-lining, 즉 동일한 선택지를 반복하는 응답 패턴입니다.
예를 들어 5점 척도 30개 문항에서
3 → 3 → 3 → 3 → 3 → 3…
처럼 거의 모든 문항에 같은 번호를 선택했다면 확인이 필요할 수 있습니다.
특히 응답시간까지 비정상적으로 짧다면 불성실 응답을 의심할 근거가 하나 더 생깁니다.
다만 동일 번호 반복 역시 그 자체만으로 무조건 삭제하기보다 문항의 특성과 전체 응답을 함께 살펴봐야 합니다.
4. 서로 모순되는 응답은 없는지도 확인해보세요
응답시간보다 더 직접적인 단서가 될 수 있는 것이 응답 간 논리적 일관성입니다.
예를 들어 앞에서는
“해당 서비스를 이용한 경험이 없다.”
라고 응답했는데,
뒤에서는
“최근 이용한 해당 서비스에 매우 만족한다.”
라고 답했다면 응답 흐름을 다시 확인해볼 필요가 있습니다.
연령이나 직업, 이용경험처럼 서로 연결되는 문항이 있다면 응답 간 모순이 없는지도 데이터 검수에 활용할 수 있습니다.
5. 주관식 문항도 의외로 많은 정보를 줍니다
설문에 주관식 문항이 있다면 함께 살펴보는 것이 좋습니다.
예를 들어
‘없음’, ‘모름’처럼 질문에 맞는 응답이 아니라
무의미한 문자,
같은 단어의 반복,
질문과 전혀 관련 없는 답변
등이 계속 나타난다면 다른 응답 패턴과 함께 검토할 수 있습니다.
특히 짧은 응답시간 + 동일 번호 반복 + 무의미한 주관식 응답처럼 여러 특징이 동시에 나타난다면 단순히 응답시간 하나만 확인했을 때보다 판단 근거가 더 명확해집니다.
6. 삭제 기준은 결과를 본 뒤 정하면 안 됩니다
여기서 가장 중요한 부분입니다.
통계분석을 했는데 원하는 결과가 나오지 않았다고 해서
“응답시간 짧은 사람을 조금 더 빼볼까?”
처럼 사후적으로 제외 기준을 바꾸는 것은 적절하지 않습니다.
가능하다면 본격적인 분석 전에 어떤 경우를 검토하거나 제외할 것인지 기준을 정하고 일관되게 적용하는 것이 좋습니다.
데이터 검수는 원하는 통계 결과를 만들기 위한 과정이 아니라 분석에 사용할 데이터의 품질을 확인하는 과정이기 때문입니다.
불성실 응답을 확인할 때 함께 볼 것 ✅
응답시간이 유독 짧은 사례를 발견했다면 다음 항목을 함께 살펴보세요.
- 전체 응답자의 일반적인 소요시간과 얼마나 차이가 나는가?
- 동일한 번호를 지나치게 반복하지 않았는가?
- 서로 연결되는 문항에서 모순된 응답은 없는가?
- 연구대상 조건에 실제로 부합하는가?
- 주요 문항에 결측값이 많지는 않은가?
- 주관식 문항에 무의미한 답변을 반복하지 않았는가?
한 가지 기준보다 여러 지표를 종합해서 판단하는 것이 핵심입니다.
설문조사는 ‘몇 명을 모았는가’에서 끝나지 않습니다
응답자 300명을 확보했더라도 데이터의 품질을 확인하지 않고 그대로 분석한다면 표본 수 자체만으로 좋은 데이터라고 말하기 어렵습니다.
특히 논문용 설문조사에서는 수집 이후 불성실 응답이나 이상 패턴을 확인하고 실제 분석에 사용할 유효표본을 확정하는 과정이 중요합니다.
더브레인에서도 설문조사 데이터 수집 이후 AI 사전분석과 전문가 검수를 통해 응답 패턴·시간·반복 응답 등을 확인하고 있습니다.
마무리
응답시간은 불성실 응답을 발견하는 데 유용한 정보입니다.
하지만 “몇 분 이하면 무조건 삭제”라는 하나의 기준으로 판단하기보다는, 전체 응답시간 분포와 반복 패턴, 논리적 일관성 등 여러 정보를 함께 확인하는 것이 좋습니다.
결국 데이터 검수의 목적은 최대한 많은 응답을 삭제하는 것이 아니라,
분석에 사용할 데이터의 신뢰도를 높이는 데 있습니다.
설문조사 응답시간이 짧다는 것은 ‘삭제 대상’이라는 뜻이 아니라,
다른 응답 패턴과 함께 한 번 더 확인해볼 필요가 있다는 신호입니다.
