논문 심사에서 이런 코멘트 많이 받습니다.
“통계적으로 유의하나 효과의 크기는 크지 않음”
“효과크기 해석이 부족함”
p값은 챙겼는데,
효과크기는 그냥 표에 있는 숫자로만 지나친 경우가 대부분입니다.
그런데 솔직히 말하면,
논문 수준을 가르는 건 p값이 아니라 효과크기입니다.
1️⃣ p값은 ‘있다/없다’
효과크기는 ‘얼마나 큰가’
p < .05 → 차이가 존재할 가능성이 높다
하지만
효과크기 → 그 차이가 실질적으로 의미 있는가
예를 들어봅시다.
A집단 평균 3.51
B집단 평균 3.48
p = .01
유의하긴 합니다.
근데 이 차이가 진짜 의미 있나요?
여기서 필요한 게 효과크기입니다.
2️⃣ 분석별로 꼭 봐야 할 효과크기
✔ t-test → Cohen’s d
- 0.2 = 작은 효과
- 0.5 = 중간 효과
- 0.8 이상 = 큰 효과
d = 0.15인데 p < .05?
→ 표본이 커서 유의해진 것일 가능성 높음.
✔ ANOVA → η², partial η²
- .01 = 작은 효과
- .06 = 중간
- .14 이상 = 큰 효과
집단 차이가 유의해도
η²가 .02라면 “영향력은 제한적”이라고 해석해야 합니다.
✔ 회귀분석 → β, R²
β가 유의해도
R²가 .03이면?
설명력 3%입니다.
“영향은 있으나 설명력은 낮다”가 정확한 표현입니다.
3️⃣ 효과크기 해석에서 가장 흔한 실수
❌ 숫자만 보고 “영향이 크다”고 단정
❌ 기준 없이 “의미 있다”고 표현
❌ p값과 동일한 어조로 해석
효과크기는
과장하지도, 축소하지도 말아야 합니다.
4️⃣ 논문에서는 이렇게 쓰는 게 안전하다
❌ “X는 Y에 강한 영향을 미친다.”
⭕ “통계적으로 유의한 영향이 확인되었으며, 효과의 크기는 중간 수준으로 나타났다.”
⭕ “효과크기는 작으나, 이론적 관점에서 의미 있는 결과로 해석될 수 있다.”
핵심은
정량적 판단 + 이론적 연결입니다.
5️⃣ 진짜 중요한 이야기
표본이 500명이면
d = 0.15도 유의하게 나옵니다.
그렇다고 해서
그게 중요한 효과는 아닙니다.
대학원 논문에서
가장 많이 지적받는 문장 중 하나가 바로 이것입니다.
“유의하므로 영향이 있다.”
아니요.
유의하다고 해서 영향이 “크다”는 뜻은 아닙니다.
p값은 문을 열어주는 열쇠일 뿐,
효과크기가 그 방의 크기를 말해줍니다.
논문은
문을 여는 데서 끝나는 글이 아니라,
방이 얼마나 넓은지 설명하는 글입니다.
