논문 분석을 하다 보면 한 번쯤 이런 경험을 합니다.
p < .05로 결과는 분명히 통계적으로 유의한데,
심사에서는
“통계적으로는 유의하나 연구적 의미는 제한적임”,
“결과 해석이 과도함”
이라는 코멘트가 달린다.
분명히 유의한데,
왜 이런 지적을 받는 걸까요?
문제는 통계가 아니라 해석에 있는 경우가 대부분입니다.
🔍 통계적 유의성은 ‘차이의 존재’만 말해준다
통계분석에서 p값이 답하는 질문은 아주 단순합니다.
👉 이 결과가 우연히 나왔을 가능성이 얼마나 낮은가?
p값에는 다음 두 가지가 포함되지 않습니다.
그 차이가 얼마나 큰지
그 차이가 얼마나 중요한지
그래서 이 등식은 항상 성립합니다.
p < .05
= “차이가 있다”
≠ “차이가 크다”
≠ “연구적으로 중요하다”
즉, 통계적으로 유의하다는 말은 ‘존재’의 문제이지 ‘의미’의 문제가 아닙니다.
통계적 유의성(statistical significance)
→ 우연이 아닐 가능성
연구적·실질적 의미(practical significance)
→ 이 결과가 설명 가치가 있는가
이 둘을 구분하지 못하면,
논문에서는 거의 반드시 지적을 받게 됩니다.
❗ 표본 수가 클수록 ‘유의해 보이는 착시’가 생긴다
표본 수가 커질수록 표준오차는 작아지고,
아주 미세한 차이도 쉽게 p < .05를 만족합니다.
그래서 심사에서 자주 등장하는 문장이 바로 이것입니다.
“통계적으로는 유의하나, 효과의 크기가 매우 작아
실질적 의미를 논하기 어렵다.”
이 말의 핵심은 단 하나입니다.
👉 효과크기(effect size)를 보지 않았다는 뜻입니다.
📌 효과크기를 함께 보지 않으면 생기는 대표적 오류
논문에서 효과크기는
선택사항이 아니라 필수 보고 요소입니다.
분석 방법에 따라 다음 지표들을 반드시 함께 확인해야 합니다.
✅ 회귀분석
→ 표준화 회귀계수(β), 결정계수(R²)
✅ 분산분석(ANOVA)
→ η², partial η²
✅ t-test
→ Cohen’s d
효과크기가 매우 작다면
결과를 보고할 수는 있어도,
강한 주장이나 일반화의 근거로 쓰기에는 부적절합니다.
이 지점을 무시하면
“해석이 과도하다”는 코멘트로 바로 이어집니다.
✍️ 논문에서는 이렇게 써야 안전하다
논문에서 중요한 건
결과의 크기보다 해석의 절제입니다.
심사위원은 “유의했느냐”보다
“연구자가 어디까지 말할 줄 아는가”를 봅니다.
❌ 위험한 문장
“본 연구 결과, X는 Y에 유의미한 영향을 미치는 것으로 나타났다.”
⭕ 훨씬 안전한 문장
“X와 Y 간의 통계적으로 유의한 관계가 확인되었으나,
효과의 크기가 크지 않아 해석에는 주의가 필요하다.”
이 한 문장 차이로
논문의 신뢰도가 완전히 달라집니다.
핵심 정리
p값은 우연이 아닐 가능성만 말해줄 뿐,
의미의 크기를 말해주지 않는다
표본 수가 클수록 효과크기 해석은 필수
논문에서는 ‘강한 주장’보다 절제된 해석이 실력
