가설 5개를 세웠는데
5개 모두 채택.
모든 변수는 p<.001.
상관관계도 예상한 방향 그대로.
설명력까지 높게 나왔습니다.
처음에는
“대박, 연구 잘됐다!”
싶을 수 있습니다.
하지만 결과가 지나치게 완벽하다면
한 번쯤은 데이터와 분석 과정을 다시 확인해볼 필요가 있습니다.
1️⃣ 현실의 데이터는 원래 깔끔하지 않습니다
사람을 대상으로 한 연구에서는
개인차가 존재합니다.
같은 상황에서도
누군가는 만족하고,
누군가는 불만족할 수 있습니다.
그래서 실제 데이터에는
📊 편차
📊 예외적인 응답
📊 예상과 다른 관계
가 자연스럽게 나타납니다.
👉 모든 결과가 예상대로 나왔다면
그 이유를 확인해볼 필요가 있습니다.
2️⃣ 변수들이 지나치게 비슷할 수도 있습니다
A와 B의 상관계수가
매우 높게 나왔다면
“관계가 강하다!”고 좋아하기 전에
두 변수가 사실상
비슷한 내용을 측정하고 있지는 않은지
확인해야 합니다.
예를 들어
문항 표현만 조금 다르고
실제로는 같은 개념을 묻고 있다면
높은 상관이 나타나는 것이
당연할 수도 있습니다.
⚠️ 높은 상관 = 무조건 좋은 결과는 아닙니다.
3️⃣ 데이터 정제 과정도 확인해야 합니다
불성실 응답을 제외하는 것은 필요하지만
‘결과가 마음에 들지 않는 응답’까지
제외하면 문제가 됩니다.
특정 기준으로 데이터를 계속 제거하다 보면
결과가 인위적으로
깔끔해질 수도 있습니다.
📌 제외 기준은 결과를 보기 전에 정하고
모든 응답자에게
동일하게 적용하는 것이 중요합니다.
4️⃣ 분석 방법을 반복해서 바꾸지는 않았나요?
처음 분석에서는
유의하지 않았는데
변수를 바꾸고,
통제변수를 빼고,
분석 방법을 계속 변경한 끝에
p<.05가 나왔다면
주의해야 합니다.
원하는 결과가 나올 때까지
분석을 반복하면
우연히 유의한 결과를
발견할 가능성도 높아집니다.
👉 ‘왜 이 분석을 선택했는가?’를 설명할 수 있어야 합니다.
5️⃣ 예상과 다른 결과도 정상입니다
가설이 기각되거나
선행연구와 다른 결과가 나왔다고 해서
연구가 실패한 것은 아닙니다.
오히려
🤔 왜 기존 연구와 달랐는지
🤔 연구 대상의 특성 때문인지
🤔 새로운 조건이 작용했는지
살펴보는 과정에서
더 흥미로운 논의가 만들어질 수도 있습니다.
🔥 핵심 정리
좋은 연구는
모든 가설이 채택된 연구가 아닙니다.
👉 결과가 예상과 너무 완벽하게 일치한다면, 좋아하기 전에 측정·데이터 정제·분석 과정에 문제가 없었는지 한 번 더 확인해보는 것이 좋습니다.
📌 이렇게 보면 됩니다
✔ 변수 간 상관이 지나치게 높지 않은지 확인
✔ 비슷한 문항이 반복되지 않았는지 확인
✔ 데이터 제외 기준 다시 확인
✔ 분석 방법을 선택한 근거 확인
✔ 유의하지 않은 결과도 그대로 받아들이기
👀 많이 틀리는 포인트
가설이 모두 채택되면 좋은 연구라고 생각하기 ❌
높은 상관계수를 무조건 좋은 결과로 보기 ❌
유의한 결과가 나올 때까지 분석 바꾸기 ❌
예상과 다른 데이터를 임의로 제외하기 ❌
👉 좋은 연구자는
완벽한 결과를 만드는 사람이 아니라, 예상과 다른 결과까지 있는 그대로 설명할 수 있는 사람입니다.
